[论文解读] Teacher's Perception in the Classroom

Ömer Sümer, Patricia Goldberg+5 more|arXiv (Cornell University)|May 22, 2018

Gaze Tracking and Assistive Technology被引用 4

一句话总结

本文提出了一种新颖的框架，结合移动眼动追踪与计算机视觉技术，自动分析课堂教学情境中教师的注意力焦点。通过使用人脸检测、轨迹片段生成与聚类方法识别学生，该方法将眼动追踪的注视点与个体学生关联，实现了无需人工标注的、可扩展的注意力分布分析及其与学生性别的关联分析，显著优于教育眼动追踪研究中的传统人工方法。

ABSTRACT

The ability for a teacher to engage all students in active learning processes in classroom constitutes a crucial prerequisite for enhancing students achievement. Teachers' attentional processes provide important insights into teachers' ability to focus their attention on relevant information in the complexity of classroom interaction and distribute their attention across students in order to recognize the relevant needs for learning. In this context, mobile eye tracking is an innovative approach within teaching effectiveness research to capture teachers' attentional processes while teaching. However, analyzing mobile eye-tracking data by hand is time consuming and still limited. In this paper, we introduce a new approach to enhance the impact of mobile eye tracking by connecting it with computer vision. In mobile eye tracking videos from an educational study using a standardized small group situation, we apply a state-ofthe-art face detector, create face tracklets, and introduce a novel method to cluster faces into the number of identity. Subsequently, teachers' attentional focus is calculated per student during a teaching unit by associating eye tracking fixations and face tracklets. To the best of our knowledge, this is the first work to combine computer vision and mobile eye tracking to model teachers' attention while instructing.

研究动机与目标

• 本文旨在克服在课堂授课的移动眼动追踪研究中，人工标注方法存在的局限性。
• 解决在真实课堂环境中，缺乏可扩展的自动化方法将教师注视点与个体学生关联的问题。
• 目标是开发一个完全自动化的处理流程，以识别在教学过程中教师在任何时刻正在关注哪位学生。
• 本研究旨在通过整合眼动追踪与第一人称视频分析及人脸聚类技术，实现教师注意力的大规模分析。
• 进一步探究注意力如何因学生性别而异，以及运动模式的影响，为教育公平与教学动态提供新见解。

提出的方法

• 该方法使用教师在标准化小组教学环节中，从第一人称视角获取的移动眼动追踪数据。
• 在第一人称视频帧中应用最先进的面部检测器，以检测第一视角中的面部。
• 通过将连续帧中检测到的面部进行关联，生成面部轨迹片段，形成个体面部的时间序列。
• 提出一种新颖的聚类方法，基于外观与运动特征将轨迹片段聚类为身份簇，实现对学生身份的分配。
• 随后将眼动追踪的注视点与每个身份簇关联，计算随时间推移对每位学生的注意力焦点。
• 利用光流检测注视转移并验证注视点，提升注意力分析的可靠性。

实验结果

研究问题

• RQ1 如何利用移动眼动追踪与计算机视觉技术，自动将教师的注意力焦点映射到课堂环境中的个体学生？
• RQ2 教师注意力在多大程度上因学生性别而异？这种差异是否能通过自动人脸聚类与性别估计技术可靠测量？
• RQ3 光流信息能否改善注视转移的检测，并减少注视分析中的假阳性？
• RQ4 教师的移动行为与注视转移模式如何与教学动态及学生参与度相关联？
• RQ5 该自动化框架是否能够实现无需人工标注的大规模、可扩展的教师注意力分析？

主要发现

• 所提出的方法通过自动人脸聚类成功将眼动追踪注视点与个体学生关联，实现了无需人工标注的个性化学生注意力分析。
• 性别估计模型表现出高准确率，分别在两个身份簇中对男性和女性学生的正确预测数为960/946和3321/1128。
• 光流分析揭示了注视转移的显著模式：在学生之间转移时光流幅值较高，而在持续互动时值较低。
• 该框架通过自动化身份关联与注视点验证，减少了对专家标注的依赖，实现了课堂注意力分析的可扩展性。
• 该方法在八段15–20分钟的M-teach视频上表现出稳健性能，显示出在真实课堂环境中应用的潜力。
• 人脸聚类与注视数据的整合提供了每位学生的注意力时间统计，为注意力分布及潜在公平性问题提供了新见解。