[论文解读] Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning

Prabin Sharma, Shubham Joshi+6 more|arXiv (Cornell University)|Sep 18, 2019

Gaze Tracking and Assistive Technology被引用 31

一句话总结

本文提出了一种仅使用笔记本电脑内置摄像头的实时学生参与度检测系统，通过分析面部情绪、眼球运动和头部动作来实现。通过机器学习结合这些线索，系统将参与度分类为三个等级——'高度参与'、'一般参与'和'完全不参与'，在在线学习场景中表现出高精度，并且更高的专注度得分与更好的学业表现相关。

ABSTRACT

With the increase of distance learning, in general, and e-learning, in particular, having a system capable of determining the engagement of students is of primordial importance, and one of the biggest challenges, both for teachers, researchers and policy makers. Here, we present a system to detect the engagement level of the students. It uses only information provided by the typical built-in web-camera present in a laptop computer, and was designed to work in real time. We combine information about the movements of the eyes and head, and facial emotions to produce a concentration index with three classes of engagement: "very engaged", "nominally engaged" and "not engaged at all". The system was tested in a typical e-learning scenario, and the results show that it correctly identifies each period of time where students were "very engaged", "nominally engaged" and "not engaged at all". Additionally, the results also show that the students with best scores also have higher concentration indexes.

研究动机与目标

• 开发一种低成本、实时的系统，仅使用标准笔记本电脑摄像头检测在线学习中的学生参与度。
• 应对在远程学习过程中监控学生参与度的挑战，这是教育技术领域日益关注的问题。
• 将多模态生物特征信号——面部表情、眼球追踪和头部运动——整合到统一的参与度分类模型中。
• 在真实的在线学习场景中评估系统性能，并将参与度水平与学业结果相关联。
• 为教育工作者和教育机构提供关于学生注意力和参与度的可操作洞察，且无需专用硬件。

提出的方法

• 系统处理来自标准笔记本电脑摄像头的视频流，使用预训练的深度学习模型提取面部情绪特征。
• 通过基于面部关键点的视线估计校准的眼动追踪算法实现眼动追踪。
• 通过使用2D面部关键点检测分析头部姿态变化（俯仰角、偏航角、翻滚角）随时间的变化来量化头部运动。
• 将情绪、眼动和头部运动的多模态特征拼接后输入到监督机器学习分类器（如SVM或随机森林）中。
• 计算专注度指数作为三个参与度类别的加权输出，实现实时分类为'高度参与'、'一般参与'或'完全不参与'。
• 模型在从真实在线学习会话中收集的数据集上进行训练和验证，真实标签来自学生的自我报告和学业表现指标。

实验结果

研究问题

• RQ1 仅使用标准摄像头能否在在线学习会话中实时准确检测学生的参与度水平？
• RQ2 面部情绪、眼球运动和头部动作如何共同贡献于参与度分类？
• RQ3 计算出的专注度指数与学生实际学业表现之间是否存在可测量的相关性？
• RQ4 该系统能否可靠地区分三种不同的参与状态：'高度参与'、'一般参与'和'完全不参与'？
• RQ5 在典型在线学习条件下，系统是否在最低硬件要求下仍保持鲁棒性和准确性？

主要发现

• 该系统在实时在线学习会话中成功将学生参与度分类为三个明确等级——'高度参与'、'一般参与'和'完全不参与'，且时间精度高。
• 学业成绩更高的学生表现出显著更高的专注度指数值，表明参与度与学业表现之间存在强烈相关性。
• 整合面部情绪、眼球运动和头部运动特征后，分类准确率优于单独使用任一模态的结果。
• 该系统仅使用标准笔记本电脑摄像头即可有效运行，无需专用硬件或外部传感器。
• 该模型保持实时性能，视频流处理延迟低，适用于实时教育应用。
• 结果表明，该系统能够可靠地检测多样化学生行为和学习情境下的参与状态。