[论文解读] SCB-Dataset: A Dataset for Detecting Student and Teacher Classroom Behavior

Fan Yang|arXiv (Cornell University)|Apr 5, 2023

Innovative Teaching Methods被引用 15

一句话总结

本论文介绍 SCB-dataset，一个聚焦课堂场景中举手行为的公开数据集（跨4,003张图片共有11,248个标签），并使用 YOLOv7 变体进行评估，最高在 0.5 IoU 下达到 85.3% 的 mAP。

ABSTRACT

Using deep learning methods to detect the classroom behaviors of both students and teachers is an effective way to automatically analyze classroom performance and enhance teaching effectiveness. Then, there is still a scarcity of publicly available high-quality datasets on student-teacher behaviors. We constructed SCB-Dataset a comprehensive dataset of student and teacher classroom behaviors covering 19 classes. SCB-Dataset is divided into two types: Object Detection and Image Classification. The Object Detection part includes 13,330 images and 122,977 labels, and the Image Classification part includes 21,019 images. We conducted benchmark tests on SCB-Dataset using YOLO series algorithms and Large vision-language model. We believe that SCB-Dataset can provide a solid foundation for future applications of artificial intelligence in education. Code:https://github.com/Whiffe/SCB-dataset

研究动机与目标

• 解决公开可用的学生课堂行为检测数据集缺乏的问题。
• 提供一个聚焦于在多样化课堂情景中举手行为的真实场景数据集。
• 展示基于目标检测的方法（YOLOv7）在课堂行为分析中的可行性。

提出的方法

• 从公开渠道收集真实课堂图片，以捕捉多样化场景与挑战。
• 手动标注举手实例的边界框，以创建 SCB-dataset。
• 在 SCB-dataset 上训练并评估多种 YOLOv7 变体（tiny、standard、X、W6、E6）。
• 将训练配置为 150 epochs，batch size 8，图像尺寸 640x640，使用预训练骨干网络。
• 报告在 IoU 阈值 0.5 和 0.5:0.95 下的精度（P）、召回率（R）和平均精度均值（mAP）。

实验结果

研究问题

• RQ1 YOLOv7 基于检测器在真实课堂图像中识别举手行为的效果如何？
• RQ2 在 YOLOv7 变体中，模型大小与架构对课堂行为检测性能有何影响？
• RQ3 影响课堂中检测的数据集特征与挑战（尺度变化、遮挡、视角）的因素有哪些？

主要发现

模型	P	R	mAP@.5	mAP@.5:.95
YOLOv7-tiny	75.7%	75.9%	79.7%	54%
YOLOv7	83.1%	80.6%	84.9%	61.8%
YOLOv7-X	81.4%	81.4%	84.6%	62.3%
YOLOv7-W6	84.1%	79%	85.3%	62.1%
YOLOv7-E6	82.2%	80.5%	85.1%	63.1%

• SCB-dataset 包含 11,248 标签 Across 4,003 张图片，聚焦于课堂中的举手行为。
• YOLOv7-tiny 实现 P=75.7%、R=75.9%、mAP@0.5=79.7%、mAP@0.5:0.95=54%。
• YOLOv7（standard）实现 P=83.1%、R=80.6%、mAP@0.5=84.9%、mAP@0.5:0.95=61.8%。
• YOLOv7-X 实现 P=81.4%、R=81.4%、mAP@0.5=84.6%、mAP@0.5:0.95=62.3%。
• YOLOv7-W6 实现 P=84.1%、R=79.0%、mAP@0.5=85.3%、mAP@0.5:0.95=62.1%。
• YOLOv7-E6 实现 P=82.2%、R=80.5%、mAP@0.5=85.1%、mAP@0.5:0.95=63.1%。