课堂专注度识别系统技术解析：从人脸检测到行为状态分析

简介：本资源是一个轻量级的课堂专注度行为识别实践项目，面向人工智能初学者、教育技术研究者及Python深度学习入门学习者，聚焦于用计算机视觉方法评估学生课堂状态这一典型教育场景问题。压缩包仅2KB，含2个核心文件：1个Python脚本（.py）实现基础行为识别逻辑，1个XML配置文件（.xml）用于模型参数或标签定义，结构简洁，便于快速理解系统主干流程与数据接口设计。已有432人学习下载，适合在有限算力环境下部署验证、开展教学演示或作为课程实验原型参考。读者可直接运行脚本观察简易专注度判别效果，结合代码注释与XML结构掌握从视频帧预处理、关键特征提取到状态分类的完整链路，是理解CNN+RNN融合行为分析思路的实用入门素材。

1. 这个系统到底解决什么问题：从“听课评课靠感觉”到“专注度有了连续数据”

我在去年帮一所学校做智慧教室项目时，最常被问到的问题不是模型准不准，而是：“你们能不能告诉我，这节课到底有多少学生在认真听？”这个问题听起来简单，真做起来才知道水有多深。

传统课堂观察靠的是督导老师坐在后排，拿一张表手工记录学生低头、抬头、玩手机的次数。这种方法有几个硬伤：第一，人工观察只能采样，撑死记几个时间点的状态，中间大量空白；第二，观察者坐在教室里本身就改变了课堂生态，学生知道有人来听课，表现自然会不一样；第三，不同评课老师的判断标准差异很大，这位老师觉得学生在发呆，那位老师觉得学生在思考，同一节课能给出两套结论。

课堂专注度行为识别系统解决的，就是这三个问题。它本质上是把“专注度”从一种主观印象，变成一套可以量化、可以追踪、可以横向比较的数据。系统通过教室前端的普通摄像头采集课堂画面，用深度学习模型对画面中的每一个学生做行为状态分析，输出专注/分心/低头/瞌睡/离开等离散状态，再按时间窗口聚合成班级专注度曲线和个体专注度曲线。

这套系统的目标用户不只是学校管理层，其实一线教师的需求更迫切。很多老师课后想复盘自己这节课的互动效果，以往只能靠回忆，有了数据回放之后，哪个环节学生整体注意力下滑、哪个时间段课堂互动效果好，一目了然。另外，班主任和教务管理端可以长期追踪一个班级、一个学生的专注度变化趋势，用来做学风分析、教学节奏优化。

这里要强调一句，系统的定位是辅助观察工具，不是给学生打分的机器。我一开始跟校方沟通时就明确了一条原则：数据只用来分析教学，不和任何奖惩机制挂钩。这个边界如果不提前划清楚，后面技术做得再好，落地也会出问题。做个识别系统技术上不难，真正难的是让使用方理解系统的能力边界——它能告诉你“哪些时刻学生整体状态涣散”，但它不会告诉你“为什么涣散”，更不应该直接给学生贴上“差生”的标签。

再说一句题外话，市面上有些产品主打“表情识别判断情绪”，从纯技术角度看，把表情和内在心理状态强行挂钩是不严谨的，学生在课堂上皱眉可能是思考，也可能是没听懂，更有可能是被窗外阳光晃了眼。所以这个项目里我没有做任何“读懂心理”的过度设计，只做行为层面的客观识别，行为是外显的、可标注的，模型训练的可信度就高很多。

2. 技术选型决策：为什么是“人脸检测＋头部姿态＋视线估计＋状态分类”的拼装方案

定技术方案之前，我先把需求拆了一遍。系统需要输出的是每个学生在某个时刻的行为状态，而行为状态本质上是从人脸图像中推断出来的时序信息。那么摆在面前的有两条路线。

第一条路线是端到端视频理解，比如用I3D、SlowFast这类模型直接吃一段视频，输出专注/分心的分类结果。优点是省事，不需要设计中间特征；缺点是训练数据需求量非常大，课堂场景的公开数据集几乎没有，自己标注视频片段成本高得离谱，而且端到端模型的决策过程完全黑盒，学校领导来参观时根本解释不清楚“为什么这个学生被判成分心”——这在教育场景里是致命的，老师要的是一个能说服自己的理由，而不是一个玄学概率。

第二条路线就是把问题拆成几个子任务，做成流水线：人脸检测 → 头部姿态估计 → 视线估计 → 规则/分类器融合。我最后选的就是这条路线，核心原因是每个环节都有成熟的预训练模型可以迁移，且中间结果的解释性极强。我可以直接告诉老师：这个学生被判为“分心”，是因为他的头部偏转角度达到了45度，且视线方向长时间偏离板书区域。这种解释，老师们是认的。

具体到每个环节的选型：

• 人脸检测：用的是RetinaFace的轻量版本，在教室这种半 crowded 场景下，能稳定检测到距离摄像头8米左右的正面和半侧面人脸。实测在1080P输入下，单张RTX 3060显卡可以跑到实时。如果用YOLOv5系列也可以，但RetinaFace在密集小脸场景下的召回率更高一些，教室后排人脸像素只有三四十个像素宽，这时候小目标召回率就是一切。

• 头部姿态估计：用6DRepNet，直接回归三个欧拉角（yaw偏航角、pitch俯仰角、roll滚转角）。相比传统的关键点法（先检测人脸关键点再用PnP求解姿态），6DRepNet的优点是角度输出稳定性好，不会因为个别关键点抖动就导致姿态角大幅跳变。实测头部转角超过75度之后，6DRepNet的预测精度会显著下降，所以我在系统中设置了“大角度侧脸 → 状态标记为侧脸/分心倾向”的降级策略。

• 视线估计：这个模块我纠结了很久。学术界有L2CS、Gaze360这些模型，输入人脸图像，输出视线方向向量。但视线估计的本质问题是缺少统一的坐标对齐，摄像头位置不同、人头位置不同，同一个视线向量对应的注视点完全不一样。我在系统里做了一个保守处理：把视线向量按摄像头内参投影到教室平面，判断学生的注视点是否落在“板书区域”或“屏幕区域”内。只有当注视点明显落在区域外，且持续时间超过阈值，才判定为视线游移。这个阈值我调了很久，最后定为单次游移超过3秒才算一次分心事件，低于3秒的快速扫视属于正常课堂行为。

• 状态分类：最终的状态融合用了一套规则引擎加一个轻量分类器。规则引擎处理的是高置信度场景：低头超过阈值角度、眼睛闭合时间过长（用EAR眼睛纵横比判断）、人脸消失超过N帧（判定为离开座位）。分类器处理的是模糊场景：比如头部轻微偏转、视线略微偏移，单靠规则很难给出确定结论，就用一个三层的MLP吃头部姿态、视线偏移量、检测框面积变化等特征，输出“专注/一般/分心”三档。

为什么不直接做一个端到端的分类模型？除了数据量的问题，还有一个工程上的考量：模块化架构便于后续替换和排查问题。哪一环效果不好就单独换哪一环，不用整个重训。这在真实项目里太重要了，我见过太多同事因为追求“大一统模型”而把自己困在标注地狱里。

3. 专注度怎么变成模型标签：行为定义、数据准备与打分机制

这一章是技术部分最核心的内容。很多人拿到“课堂专注度识别”这个题目，第一反应是去找一个“专注度识别数据集”，找了一圈发现公开数据集要么是实验室场景，要么是驾驶员疲劳检测，根本不能直接用。我准备了一份自建的标准规范，包括专注度定义的量化标准和具体的工程实现方案。

3.1 行为状态的定义要和一线老师对齐

在标注数据之前，必须先和老师把“什么是专注”这件事对齐。我一开始按自己的理解定义了一套标签：0-专注、1-轻度分心、2-严重分心。结果拿给老师看，对方直接说：“你这个标签太粗了，我想知道的是学生到底是在低头写字还是在低头玩手机，这两种行为性质完全不一样。”

于是我把行为标签改成了更细的语义化标签：

这里有一个关键点：“低头书写/阅读”和“瞌睡”在图像上很容易混淆。低头时如果眼睛是闭的，那就是瞌睡；如果眼睛是睁的且手部有动作，大概率是写字。所以单帧图像解决不了这个问题，必须用时序信息来判断。我对瞌睡的判定加了一个前置条件：过去10秒内眼睛闭合帧占比超过80%，才触发瞌睡状态，否则哪怕低头幅度很大，只要眼睛睁着就当成正常的学习动作。这条规则让误报率下降了不少，因为有些学生喜欢趴在桌上听课，眼睛其实是看着老师的。

3.2 数据集标注的实操流程

数据来源分两部分：一部分是网上公开的课堂录像，另一部分是我们在学校实地拍摄的课堂视频，征得了所有学生和家长的书面同意，且视频只用于算法研发，不对外发布。

标注工具用LabelStudio，标注界面显示一段时间内的连续帧，标注人员在关键帧上标记每个人的状态。这里有一个容易踩的坑：单帧标注没法体现时序信息。我一开始让标注员对每一帧单独标状态，结果同样一个低头动作，这帧被标成书写，下一帧被标成瞌睡，数据噪声极大。后来改成“事件式标注”，就是只标注状态切换的时刻，比如某学生14:32:05从专注变成低头，14:32:40从低头变回专注，中间所有帧自动继承状态。这样数据一致性提升明显，标注效率也提高了几倍。

数据规模方面，我最终收集了约1200分钟的标注视频，覆盖了不同教室光照、不同摄像头角度、不同年龄段学生。对于头部姿态的数据增强，采用对图像做随机旋转±10度、亮度扰动、高斯模糊模拟低分辨率摄像头效果。视线估计的数据直接用已有的公开模型预测结果做软标签，没有再额外训练，因为自建视线真值需要眼动仪，成本太高。

3.3 专注度打分：不只看单帧状态

模型输出的原始结果是每个学生在每一帧上的状态标签，直接拿这个做班级排名没有意义，因为课堂本来就是动态的。我设计了一套基于滑动窗口的专注度打分机制：

1. 以30秒为窗口，15秒为步长，对每个学生计算窗口内各状态的时间占比。
2. 专注度分数 = 专注时间占比 × 1.0 + 低头书写时间占比 × 0.7 + 视线游移时间占比 × 0.3 + 瞌睡/离座时间占比 × 0。
3. 班级层面的专注度曲线，取所有学生分数的平均值，叠加一个带权重的衰减窗，让曲线更平滑。

这套打分逻辑的好处是语义清晰，权重参数可以交给学校自行调节。有的学校认为低头写字也应该算专注，那我建议把书写权重从0.7调到0.85。有的学校更看重课堂互动活跃度，那会把“视线游移”的惩罚加重。模型本身不直接输出分数，它只输出行为状态，分数是后处理策略，这种解耦让我在对接不同学校时不至于每次都重训模型。

补充一个细节：短视频流的处理。为了控制算力成本，我没有在每一帧上跑完整的人脸检测和姿态估计，而是采用“抽帧+轻量跟踪”的策略——每隔3帧跑一次检测和姿态估计，中间两帧用ByteTrack跟踪的结果做继承。实测下来，专注度曲线的稳定性和全帧计算几乎一致，但推理耗时降低了60%。

4. 模型训练与迭代中的实测结果：哪些环节真正稳，哪些会误判

模型选型和数据准备好了，接下来是训练迭代的硬仗。这一章我把实测中遇到过的问题、调参经验、以及“看起来靠谱但实际翻车”的环节都写清楚。

4.1 各子任务的实测表现

• 人脸检测：RetinaFace在光照充足的教室中，召回率（recall）超过95%，但在逆光和窗帘拉上的教室，后排人脸召回率掉到80%。光照变化是我遇到的最大的单点问题。后来我加了auto-exposure的预处理，就是先做一次全局亮度统计，如果暗光就做CLAHE对比度增强，再送进检测模型。这个预处理让逆光场景的召回率回升了8个百分点。

• 头部姿态估计：6DRepNet在正脸±30度范围内，平均角度误差约5度，这个精度完全够用。但大角度侧脸（超过60度）时误差飙升到15度以上。六自由度姿态模型对训练数据分布很敏感，公开训练集里面欧洲人脸占比高，拉到亚洲学生的课堂上，角度分布会有一点偏移。我在自建数据上做了轻量的finetune（只训练最后两层），误差降低到7度左右。

• 视线估计：老实说，视线估计是这个系统里相对最弱的环节。公开模型在实验室环境下误差可能只有5度，但到了教室环境，由于摄像头高度、学生座位远近差异，误差会被放大。我后来不直接依赖视线落点做判定，而是把视线作为一个辅助特征，主要依据头部姿态和眼睛开合度来判断状态。实测下来，单纯用头部姿态的准确率比“头部姿态+视线”的准确率只低2%左右，但稳定性明显更好。如果读者要复现，我的建议是：不要过度迷信视线估计模块，它的收益在教室场景里没有那么高。

4.2 最容易误判的三种场景

• 学生低头写字被误判为瞌睡。前面说过，解决方案是加一个“眼睛是否闭合”的时序判断。写字的低头，眼睛是睁着的，EAR（眼睛纵横比）在0.2左右；瞌睡的低头，眼睛闭合，EAR接近0。我用EAR做硬过滤之后，这个误判基本消除了。

• 戴眼镜和刘海遮挡导致的漏检。人脸关键点在黑框眼镜下会偏移，导致头部姿态估计出现10度左右的偏差。这个没有太好的招，只能在数据里加一部分戴眼镜学生的样本。长刘海遮住眉毛对普通检测影响不大，但会对眼睛闭合判断产生干扰。在实际部署时我建议摄像头尽量从正面略高的角度拍摄，有效减少刘海遮挡的影响。

• 学生用手撑脸。这是最头疼的场景，手部遮挡了半边脸，人脸检测框还在，但关键点丢失，姿态估计结果开始乱跳。处理方式是在后处理阶段加一个“检测置信度变化”的报警，当某个人脸框内关键点数量突然从几十个掉到个位数，就标记为“遮挡/争议”，不计入专注度统计，而不是强行分类。宁可漏判，不要错判，这是我在整个项目里反复确认的一个原则。

4.3 训练细节损耗与优化

数据增强方面我用了随机裁剪、随机亮度、饱和度调整、高斯模糊、运动模糊。有一个非常关键的经验是不能做水平翻转增强，因为课堂场景中黑板位置是固定的，学生往左看黑板和往右看黑板在语义上等价，但翻转之后“视线方向”和“板书区域”的对应关系会乱，导致专注度判断出现系统性偏差。

训练使用了两张RTX 3090，检测模型用基于COCO预训练的权重做迁移学习，姿态模型用了官方的预训练权重，只finetune最后两层。分类模型的输入特征是：头部姿态三个欧拉角、视线偏移量、EAR值、检测框面积变化率、人脸置信度，维度虽低，但因为每个特征都有明确物理含义，模型几乎没有出现过拟合。

整体准确率用人工抽样的100段视频片段做评估，每段15秒，共涉及约50个学生。最终的状态分类准确率约88%，其中专注/低头书写/离座这三类的准确率超过90%，瞌睡和视线游移这两类在88%左右。如果把“一般”这一档并入“专注”，则二分类准确率可以到93%。需要说明的是，这些数字是在我这个数据分布下得到的，直接搬到你自己的场景里，准确率会有波动，建议上线前先跑两天的数据看看分布。

5. 工程落地与部署实况：硬件、帧率、摄像头机位与合规底线

模型在实验室里跑通只是第一步，真正放到教室里连续跑才算数。工程部署这一章，把我从硬件选型到实际运行中遇到的各种问题完整梳理一遍。

5.1 硬件选型与运行性能

如果只是做技术验证，一台带GPU的台式机就够了，我推荐配置如下：

实测在RTX 3060上，处理一路1080P@30fps的教室画面，抽帧策略是每3帧推理一次，实际GPU占用率约70%，CPU占用率约40%，端到端延迟（从画面到刷出状态标签）在500ms以内。如果要同时处理4路教室画面，建议用两片3060，或者把抽帧周期放宽到每5帧一次，但班级专注度曲线的平滑度会有轻微下降。

关于深度学习环境配置，我踩过一个大坑。Ubuntu 22.04下安装NVIDIA驱动和CUDA，用官网的runfile安装很容易出现“装完没反应”的情况，原因多半是内核模块没加载成功。我的建议是直接用conda创建虚拟环境，然后用pip安装PyTorch的预编译版本，PyTorch会自动拉取对应的CUDA runtime，这样就不需要手动装系统级的CUDA toolkit。我第一次折腾CUDA驱动就花了两天，后来发现新方法，整个环境搭好不到半小时。

5.2 摄像头机位是关键中的关键

很多人把摄像头交给学校自己装，这是个坑。摄像头高度和角度直接决定了人脸检测的召回率。我测试过三种安装位置：

• 讲台上方正中，高度2.5米，俯角约15度：效果最好，能看到绝大多数学生的正脸或半侧脸，后排学生不会被前排遮挡。
• 教室后墙，高度3米：只能拍到学生后脑勺，基本上所有头部姿态估计和视线估计模块全部失效，只能靠人检测和离座检测。
• 黑板侧面，高度1.8米：斜向拍摄导致一侧学生长期处于大角度侧脸状态，误判率明显上升。

所以哪怕是做一次最简单的PoC，也一定要提前去现场看摄像头机位。如果只能装在后墙，那系统的能力就要调整，专注度识别退化为“人头检测+离座检测+低头检测”，功能少了一大截。

5.3 合规与隐私：本地推理、不留人脸底图

教育场景的数据合规问题不是走个流程那么简单。我在系统设计上做了三条硬约束：

1. 所有推理都在本地完成，绝不把视频上传到云端。部署形态是一台教室边缘主机，直接连教室网络摄像头，数据不经过公网。
2. 不保存原始人脸图。系统只在内存中做实时推理，输出的结果降级为“学生ID（用检测框编号替代）+行为状态+时间戳”，长期保存的是这些抽象数据。如果学校需要查看某节课的复盘，系统只提供状态曲线热力图和课堂活动的统计摘要，不提供可识别特定学生的视频回放。
3. 数据访问权限分级。任课老师只能查看自己班级的聚合数据和个体趋势数据，班主任和教务管理人员需要更高的授权才能查看详细记录。

这三条约束是在跟学校的信息化负责人反复沟通后敲定的。作为技术人员，我们有责任把隐私边界说清楚，而不是说一句“本地部署所以很安全”就完事。本地部署确实降低了上传的风险，但模型本身能不能识别特定个体是另一回事——系统虽然没有做身份识别，但人脸检测框的时序关联实际上能追踪到具体的座位位置，因此必须有严格的数据访问控制。

5.4 断线、弱网和意外状况

教室网络环境表面上看起来简单，实际运行中会遇到各种问题。我遇到过摄像头IP冲突导致画面中断、教室AP不稳定导致远端管理平台连不上、断电后服务没有自动重启等等。针对这些，我做了几个增强：

• 边缘主机用systemd管理推理服务，开机自启，断线重连自动恢复。
• 摄像头和边缘主机之间用有线连接，不依赖无线网络。
• 服务状态每隔30秒写一次心跳日志，管理端可以远程查看每个教室节点的运行状况。

这些看起来不起眼的工程细节，恰恰是项目能否长期运行的关键。模型再准，部署后三天两头掉线，学校方面马上会对整个系统失去信任。

6. 对复现者的建议：如何从零搭一套最小可用系统

最后这部分，我给想复现这个项目的读者一套最小可行的实施路径。整个项目比较庞大，但核心是可以拆解的，你可以按阶段推进。

6.1 第一步：先跑通单张图片的识别链路

不着急训模型，直接下载公开的预训练权重，搭一条最小链路：输入一张课堂照片，输出每个学生的人脸框、头部姿态欧拉角、EAR值。这一步验证的是“现有模型在你自己的采集设备上效果如何”。跑通了再考虑后面的事。

推荐的环境搭建步骤：

1. 安装Anaconda，创建conda环境，Python选择3.9。
2. 安装PyTorch，注意在PyTorch官网选择适配你本地显卡CUDA版本的安装命令。
3. 安装依赖库：opencv-python、onnxruntime、numpy、scipy。
4. 分别下载RetinaFace、6DRepNet的预训练模型权重，跑一张测试图，看输出。

如果这一步遇到“模型输出结果全是空”的情况，先检查输入图像的尺寸是否符合模型要求，再检查是否做了正确的归一化。我见过很多新手栽在这个地方。

6.2 第二步：接时序逻辑，从单帧状态到状态流

单帧识别走通后，开始处理视频流。这一阶段要用跟踪（比如ByteTrack）把不同帧中的同一个人脸框关联起来，再按照第3章定义的规则给每个人输出连续的状态流。这个阶段的难点是跟踪器的ID Switch问题——学生低头再抬头，人脸框可能被重新分配一个ID，导致状态流断裂。

缓解方法：跟踪器用高帧率输入，同时保留低帧率推理结果的映射关系；在状态融合时不做跨ID的强关联，而是保留一个“最近N秒座位位置”的缓冲，如果新ID出现的位置和旧ID消失的位置接近，就认为是同一个人，做ID合并。

6.3 第三步：建班级监控看板

前端这块，我用Gradio先搭了一个快速原型，实时刷新班级专注度曲线和热力图。正式版本用的是Flask轻量后端加ECharts前端，因为学校信息中心对技术栈有要求，越简单越好维护。看板页面包含：

• 班级当前专注度总分，颜色区分：绿色80分以上，黄色60-80，红色60以下。
• 专注度曲线，横轴是上课时间，纵轴是平均专注度。配合教师的教案时间点，能直观看到教学节奏对课堂状态的影响。
• 个体学生状态列表，支持按状态筛选。

6.4 我的踩坑清单

最后再给一份踩坑清单，都是我在项目里实际遇到过、查了很久才解决的问题：

• 摄像头曝光时间过长导致动态模糊。有的网络摄像头在暗光环境下会自动降低帧率并延长曝光，运动中的学生人脸全糊。解决办法是在摄像头配置面板里锁定曝光时间，最大不超过16ms。
• 学生站起来回答问题时的处理：人脸检测框会突然变大，头部姿态角大幅变化，容易被误判为“离座”或“异常动作”。我在状态机里加了一个逻辑：检测框面积出现阶跃且前后位置一致，标记为“站立互动”，不计入分心。
• 模型推理结果直接写MySQL会导致数据库连接数被打满。中间加了一层Redis缓冲，每30秒batch写入一次数据库。
• 千万不要在训练数据里混合不同分辨率的数据，模型对图像尺度极其敏感。建议所有训练图片统一缩放到640×640或416×416，不要一半是原图一半是缩放图。

这个项目从前到后做了大概四个月，最大的成就感不是模型准确率到多少，而是真正让老师感受到了数据回放的价值。有老师说，看完专注度曲线才发现，自己每节课讲到第20分钟时学生的注意力会明显下滑，后来他主动把课程节奏做了调整，用一个小练习穿插进来，班级整体专注度曲线果然平滑了很多。这就是我觉得这个方向值得做下去的理由——技术不是躺在那里的实验报告，而是能帮老师把课上得更好的工具。

本文还有配套的精品资源，点击获取