基于深度学习的课堂专注度行为识别系统：从视频到专注度曲线的工程实践

简介这份资源是面向人工智能与教育技术方向学习者、开发者的一份深度学习实战项目包聚焦课堂场景下的学生专注度行为识别适合具备Python基础、希望将计算机视觉与行为分析落地到教育评估的读者参考。压缩包共2个文件以1个py脚本和1个xml配置文件为主体量约2KB属于轻量级代码骨架便于快速阅读与二次开发。项目围绕视频流输入展开涉及图像预处理、人脸检测、眼睛与嘴巴状态分析等计算机视觉环节并可能结合CNN与RNN架构捕捉面部表情与动作时序变化从而判断学生是否专注听讲。目前已有435人学习下载说明该方向具备一定关注度。读者可从中获取课堂行为识别的整体实现思路、模型搭建与训练流程的代码参考以及数据集标注与隐私伦理问题的思考框架适合作为课程设计、毕业设计或教育智能化探索的起步素材。1. 课堂专注度识别系统拆包从摄像头画面到行为标签的完整链路很多做智慧课堂、在线教育监课或者毕设选题的朋友都会碰到一个尴尬场景摄像头画面里学生低头、扭头、趴桌子但后台只有一帧帧原始视频没人知道这一节课到底有多少人真正在听。这份「基于深度学习的课堂专注度行为识别系统.zip」要解决的就是把这种模糊的课堂观察变成可量化的行为标签——它用深度学习模型对课堂画面做行为分类输出专注、分心、低头、趴桌等状态再按时间轴聚合成专注度曲线。适合三类人做教育类毕设的学生、想给录播课加自动监课能力的开发者、以及需要批量分析课堂录像的教研团队。技术栈是 Python 深度学习框架属于典型的计算机视觉行为识别项目不是纯理论 demo而是带完整推理流程的工程包。2. 行为识别模型选型为什么课堂场景不适合直接套通用分类网络2.1 课堂行为的三个特殊性决定了模型结构通用图像分类网络比如直接拿 ResNet 做多分类在课堂场景里翻车是常事原因有三个。第一课堂行为是时序相关的一个学生低头 2 秒可能是捡笔低头 30 秒才是分心单帧分类器没有时间维度会把两者判成同一类。第二课堂画面里目标密集且遮挡严重后排学生经常只露出半个头纯分类网络没有检测框无法区分「谁在做什么」。第三类别边界模糊「专注听讲」和「低头看书」在视觉上高度相似需要模型学到细微的头部姿态和手部动作差异。所以这类系统常见做法是「检测 时序分类」两段式先用目标检测把人框出来再对每个人的时序片段做行为分类。也有用 3D 卷积或双流网络直接吃视频片段的方案但对算力要求更高。这份资源里的实现路线从工程落地角度看更偏向可复现、可调参的路线而不是堆最重的模型。2.2 选型对比三条常见路线的取舍路线代表结构优点课堂场景的坑单帧分类ResNet / MobileNet训练快、部署简单无法区分短时低头和持续分心检测时序分类YOLO LSTM/GRU能定位到人、有时序两阶段误差累积标注成本高视频片段分类3D CNN / SlowFast端到端、时序信息完整显存吃紧小数据集容易过拟合我一般会建议如果只是毕设或小规模课堂分析走「检测 时序分类」最稳因为每一段都能单独调试出问题知道是检测漏了还是分类错了。如果算力充足且数据量上千小时再考虑 3D 卷积端到端。2.3 环境搭建Python 依赖与深度学习环境配置拿到压缩包后第一步不是急着跑而是把环境对齐。这类项目通常依赖 PyTorch 或 TensorFlow加上 OpenCV、NumPy、Pandas 做视频和数据处理。下面是我常用的环境初始化流程用 conda 隔离避免和系统 Python 打架。# 创建独立环境Python 版本按项目 requirements 来常见 3.8~3.10 conda create -n classroom_focus python3.9 -y conda activate classroom_focus # 安装深度学习框架CPU 版先跑通流程有 GPU 再换 CUDA 版 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 视频与数据处理依赖 pip install opencv-python numpy pandas matplotlib tqdm逻辑说明先建独立环境是为了避免依赖冲突这类项目经常锁死某个版本的 torchvision和系统里其他项目不兼容。参数上python3.9是兼容性最好的版本区间很多行为识别仓库在 3.11 上会遇到 numpy 编译问题。CPU 版先跑通推理流程确认代码逻辑没问题再换 GPU 版加速训练这样排错时变量最少。提示如果 requirements.txt 里写了固定版本号优先按它装不要盲目升级。深度学习项目对版本敏感torch 和 torchvision 版本不匹配会直接报undefined symbol。3. 从视频到行为标签推理流程与关键参数设置3.1 视频抽帧与预处理帧率、分辨率、归一化课堂录像动辄 45 分钟直接逐帧推理既慢又冗余。常见做法是按固定帧率抽帧比如每秒抽 2~5 帧既能保留行为变化又把计算量压下来。抽帧后要做尺寸归一化和像素归一化让输入符合模型训练时的分布。import cv2 import numpy as np def extract_frames(video_path, fps3, size(640, 640)): 按指定帧率抽帧并做基础预处理 cap cv2.VideoCapture(video_path) video_fps cap.get(cv2.CAP_PROP_FPS) interval int(video_fps / fps) # 每隔多少帧取一帧 frames [] idx 0 while True: ret, frame cap.read() if not ret: break if idx % interval 0: # BGR 转 RGB模型训练通常用 RGB frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) frame cv2.resize(frame, size) # 归一化到 [0,1]再按 ImageNet 均值方差标准化 frame frame.astype(np.float32) / 255.0 mean np.array([0.485, 0.456, 0.406]) std np.array([0.229, 0.224, 0.225]) frame (frame - mean) / std frames.append(frame) idx 1 cap.release() return np.array(frames)逻辑说明fps3表示每秒抽 3 帧45 分钟视频约 8100 帧比原始 25fps 的 67500 帧少了近 90%推理时间大幅下降。size(640,640)是检测网络的常见输入尺寸如果项目用的是 416 或 320要同步改。归一化用的均值和方差是 ImageNet 标准值如果项目自己训练时用了别的统计量这里必须换成训练时的值否则精度会掉得莫名其妙。参数怎么改如果发现行为切换很快比如举手、起立把 fps 提到 5如果只是统计长时间专注度fps1 也够用。分辨率不要低于 320否则后排小目标检测会漏。3.2 行为分类与专注度聚合标签映射和滑动窗口模型输出的是每个时间片的行为类别但系统最终要的是「专注度」。常见做法是给每个行为标签映射一个分值再用滑动窗口做时间聚合避免单帧抖动导致曲线锯齿。# 行为标签到专注度分值的映射按课堂实际意义设定 LABEL_SCORE { focused: 1.0, # 专注听讲 reading: 0.8, # 低头看书算轻度专注 distracted: 0.3, # 分心、东张西望 sleeping: 0.0, # 趴桌睡觉 raising_hand: 0.9, # 举手算积极参与 } def aggregate_focus(labels, window15): 滑动窗口聚合专注度window 为窗口内帧数 scores [LABEL_SCORE.get(l, 0.5) for l in labels] smoothed [] for i in range(len(scores)): start max(0, i - window // 2) end min(len(scores), i window // 2 1) smoothed.append(np.mean(scores[start:end])) return smoothed逻辑说明LABEL_SCORE是业务侧可调的不同学校对「看书」算不算专注有不同定义改这里就行不用动模型。window15表示用前后各 7 帧做平滑按 fps3 算大约是 5 秒窗口能滤掉瞬间低头又抬头的噪声。窗口太大曲线会滞后太小又没平滑效果一般取 3~10 秒对应的帧数。注意如果发现专注度曲线整体偏高或偏低先检查标签映射表再看模型是不是把某一类全预测成了同一类。混淆矩阵比准确率更能说明问题。3.3 批量处理与结果导出多视频、多学生的工程化处理单个视频跑通后实际用的时候往往是整个文件夹的录像。这时候要加批处理循环和异常捕获避免一个视频损坏导致整批中断。import os import pandas as pd def batch_process(video_dir, output_csv): results [] for fname in os.listdir(video_dir): if not fname.endswith((.mp4, .avi)): continue path os.path.join(video_dir, fname) try: frames extract_frames(path, fps3) # 这里调用模型推理伪代码表示 labels model_predict(frames) scores aggregate_focus(labels) results.append({ video: fname, avg_focus: np.mean(scores), min_focus: np.min(scores), frames: len(frames) }) except Exception as e: print(f{fname} 处理失败: {e}) continue pd.DataFrame(results).to_csv(output_csv, indexFalse)逻辑说明try/except是批处理的后悔药课堂录像来源杂编码格式不统一OpenCV 读不了的文件直接跳过比整批崩掉强。导出 CSV 时保留avg_focus和min_focus前者看整体后者看有没有极端分心时段。如果要做更细的分析可以把逐帧分数也存下来后面画时间曲线。4. 避坑与排查课堂行为识别里最容易翻车的五件事4.1 现象模型在测试集上准确率 95%实际课堂视频里全是错原因训练集和实际场景分布不一致。很多公开行为数据集是实验室环境、正面拍摄、光照均匀而真实课堂是侧面机位、后排逆光、学生穿校服颜色接近。模型学到了背景捷径换个教室就失效。解决先抽几段真实课堂视频做验证集看混淆矩阵里哪类错得最多。如果「专注」和「低头」互相混补这类样本做微调如果整体都差检查抽帧和归一化是否和训练时一致。别迷信测试集数字真实场景跑一遍才算数。4.2 现象推理速度慢到没法用45 分钟视频跑 2 小时原因逐帧跑高分辨率检测网络或者没开 GPU、没做批推理。也有的是抽帧率设太高fps25 等于没抽。解决先把 fps 降到 2~3再把检测输入尺寸降到 416 或 320最后确认 torch.cuda.is_available() 为 True。如果还慢考虑把检测和分类拆到两个进程或者用 ONNX/TensorRT 做推理加速。CPU 推理只适合调试批量处理必须上 GPU。4.3 现象多人画面里只检测到前排几个人后排全丢原因检测模型对小目标不敏感或者 NMS 阈值太高把重叠框滤掉了。课堂后排人在画面里可能只有几十像素高。解决提高输入分辨率或者用带 FPN 的检测结构把 NMS 阈值从 0.5 调到 0.6~0.7减少误滤训练时加入小目标增强比如 mosaic、随机缩放。如果机位固定也可以手动划区域只对座位区做检测。4.4 现象专注度曲线剧烈抖动一秒专注一秒分心原因单帧分类没有时序平滑模型在边界样本上反复横跳。也可能是抽帧率太低行为切换被离散化了。解决加滑动窗口聚合窗口取 3~10 秒或者在分类网络后接 LSTM/GRU 做时序建模。如果抖动集中在某几个学生检查是不是遮挡导致检测框跳变可以加跟踪算法如 ByteTrack稳定 ID。4.5 现象换了个教室模型把穿深色衣服的学生全判成趴桌原因模型过拟合到颜色和纹理而不是姿态。训练集里趴桌样本恰好都是深色衣服模型学了捷径。解决做颜色增强随机灰度、亮度对比度抖动或者用姿态关键点作为输入而不是原始 RGB。更彻底的办法是补充不同服装、不同光照的样本让模型关注头部和躯干角度。5. 进阶技巧用姿态关键点提升鲁棒性以及验证模型是否真的学到了行为5.1 从 RGB 到骨架为什么关键点能救回一批误判RGB 模型在课堂场景最大的敌人是外观变化——校服颜色、光照、遮挡。而行为本质是人体姿态的时序变化低头是头部俯仰角变化趴桌是躯干前倾加手臂折叠。用姿态估计如 YOLO-Pose、MediaPipe先提取每个人 17 个关键点再对关键点序列做分类能绕开大部分外观干扰。# 用关键点序列替代 RGB 做行为分类的输入构造 def build_keypoint_sequence(keypoints_list, seq_len30): keypoints_list: 每帧的 (17,2) 关键点构造固定长度序列 seq [] for i in range(seq_len): if i len(keypoints_list): kp keypoints_list[i] # 以髋部中心为原点做归一化消除位置差异 hip (kp[11] kp[12]) / 2 kp kp - hip seq.append(kp.flatten()) # 34 维 else: seq.append(np.zeros(34)) return np.array(seq) # shape: (seq_len, 34)逻辑说明以髋部中心做归一化是为了让不同座位、不同距离的学生骨架尺度一致模型学的是相对姿态而不是绝对坐标。seq_len30按 fps3 约 10 秒足够覆盖一次行为切换。输入维度从 RGB 的几十万降到 34训练快、过拟合风险低小数据集上往往比 RGB 模型更稳。5.2 验证模型有没有学到行为三个比准确率更靠谱的检查准确率会骗人尤其是类别不平衡的时候。我一般会做三个检查。第一时序一致性同一学生连续 10 秒的预测标签应该平滑如果每秒都在跳说明模型没学到时序。第二姿态敏感性把测试样本的头部关键点人为下移看模型是否从「专注」变成「低头」如果不变说明它没关注姿态。第三跨教室泛化留一个完全没参与训练的教室做测试准确率掉超过 20% 就说明过拟合严重。检查项合格标准不合格时的动作时序一致性10 秒内标签切换 ≤ 2 次加时序平滑或换时序模型姿态敏感性关键点扰动后预测改变检查输入是否被背景主导跨教室泛化掉点 ≤ 10%补数据增强或换骨架输入5.3 一个具体技巧用置信度过滤 人工复核闭环模型不是万能的课堂场景里总有它拿不准的片段。我的习惯是给每个预测附上置信度低于阈值比如 0.6的片段标出来导出成待复核列表。教研老师只需要看这些片段确认或修正修正结果再回流做微调。这样既不让低质量预测污染统计又能持续提升模型。从那以后我每次部署行为识别系统都强制走一遍「置信度过滤 抽样复核」宁可少报几个也不让错报把专注度曲线带偏。希望帮到你。本文还有配套的精品资源点击获取