[论文解读] Real-time Attention Span Tracking in Online Education

Rahul RK, Shantha Kumar S+2 more|arXiv (Cornell University)|Nov 29, 2021

Mind wandering and attention参考文献 6被引用 4

一句话总结

本文提出了一种实时系统，通过摄像头和麦克风输入分析五种非语言特征——头部姿态、视线方向、面部表情、头部运动和语音模式，以追踪在线课程中学生的注意力持续时间。结合计算机视觉与机器学习技术，该系统实时计算注意力得分，并向学生和教师提供即时反馈，从而通过启发式注意力指标评估学习表现与教学品质。

ABSTRACT

Over the last decade, e-learning has revolutionized how students learn by providing them access to quality education whenever and wherever they want. However, students often get distracted because of various reasons, which affect the learning capacity to a great extent. Many researchers have been trying to improve the quality of online education, but we need a holistic approach to address this issue. This paper intends to provide a mechanism that uses the camera feed and microphone input to monitor the real-time attention level of students during online classes. We explore various image processing techniques and machine learning algorithms throughout this study. We propose a system that uses five distinct non-verbal features to calculate the attention score of the student during computer based tasks and generate real-time feedback for both students and the organization. We can use the generated feedback as a heuristic value to analyze the overall performance of students as well as the teaching standards of the lecturers.

研究动机与目标

• 解决在线教育环境中学生分心问题日益严重的挑战。
• 开发一种实时、非侵入性的方法，用于监测虚拟课堂中的学生注意力。
• 识别并量化与注意力水平相关的非语言行为线索。
• 基于实时注意力指标，向学生和教师提供可操作的反馈。
• 建立启发式框架，用于评估学生参与度与教学有效性。

提出的方法

• 系统在在线课程期间实时捕获学生的视频与音频流。
• 利用计算机视觉与音频处理技术，提取五种非语言特征：头部姿态、视线方向、面部表情、头部运动和语音模式。
• 通过机器学习模型融合这些特征，实时计算动态注意力得分。
• 注意力得分持续更新，并用于生成对学生和授课教师的即时反馈。
• 系统利用图像处理与深度学习模型，实现对视线与面部活动的精确检测。
• 反馈用作启发式方法，评估个体学生参与度与整体教学品质。

实验结果

研究问题

• RQ1 如何从在线学习过程中的视频与音频流中可靠地提取非语言行为线索？
• RQ2 哪些非语言特征组合最能准确反映学生的实时注意力？
• RQ3 能否以足够高的准确度实时计算注意力得分，以支持教学反馈？
• RQ4 如何利用注意力指标评估学生参与度与教学有效性？
• RQ5 此类系统在真实在线教育环境中的部署可行性如何？

主要发现

• 该系统成功利用视频与音频输入中的五种非语言特征，实时计算出注意力得分。
• 注意力得分可在直播在线课程期间为学生和教师提供可操作的反馈。
• 该方法可通过注意力指标实现基于启发式的参与度与教学品质评估。
• 该系统在在线教育环境中具备实时监控的可行性。
• 视觉与音频线索的融合提升了注意力估计的鲁棒性，优于单一模态方法。
• 该方法支持在电子学习平台中面向机构的可扩展部署。