[论文解读] Using Transformers to Provide Teachers with Personalized Feedback on their Classroom Discourse: The TalkMoves Application

Abhijit Suresh, Jennifer Jacobs+5 more|arXiv (Cornell University)|Apr 29, 2021

EFL/ESL Teaching and Learning被引用 13

一句话总结

本文提出 TalkMoves，一种基于云的应用程序，利用微调的 Transformer 模型自动分析 K-12 数学课堂录音，并为教师提供关于其使用‘谈话策略’（talk moves）的个性化反馈。这些教学对话策略已被证明能提升学生的参与度和学习效果。该系统在将教师话语分类到特定谈话策略类别时，F1 得分为 79.3%，显著优于先前的 Bi-LSTM 模型。

ABSTRACT

TalkMoves is an innovative application designed to support K-12 mathematics teachers to reflect on, and continuously improve their instructional practices. This application combines state-of-the-art natural language processing capabilities with automated speech recognition to automatically analyze classroom recordings and provide teachers with personalized feedback on their use of specific types of discourse aimed at broadening and deepening classroom conversations about mathematics. These specific discourse strategies are referred to as "talk moves" within the mathematics education community and prior research has documented the ways in which systematic use of these discourse strategies can positively impact student engagement and learning. In this article, we describe the TalkMoves application's cloud-based infrastructure for managing and processing classroom recordings, and its interface for providing teachers with feedback on their use of talk moves during individual teaching episodes. We present the series of model architectures we developed, and the studies we conducted, to develop our best-performing, transformer-based model (F1 = 79.3%). We also discuss several technical challenges that need to be addressed when working with real-world speech and language data from noisy K-12 classrooms.

研究动机与目标

• 自动化教师课堂对话反馈流程，减少对耗时的人工观察的依赖。
• 解决在数学教育中提供形成性反馈时存在的可扩展性和可及性差距。
• 开发一个强大、端到端的系统，利用自动语音识别和自然语言处理技术，识别并评估真实课堂录音中的谈话策略。
• 通过提供及时、数据驱动的对话质量与学生参与度洞察，提升 教师专业发展。

提出的方法

• 系统使用配备 Swivl 的平板电脑和可穿戴麦克风收集课堂音视频录音，确保在嘈杂环境中也能高质量捕捉。
• 音频通过 Amazon Transcribe 进行转录，该技术能处理声学差异和儿童语音模式，将语音转换为文本。
• 使用上下文嵌入训练基于 Transformer 的深度学习模型，将每个教师话语分类到六个可问责对话（Accountable Talk）策略类别之一。
• 模型在标注的课堂转录数据集上进行微调，输入序列由紧随其后的学生话语组成。
• 按教学片段生成反馈，并通过网页界面交付，突出显示谈话策略的频率、分布及其与最佳实践的一致性。
• 进行错误分析，识别误分类模式，特别是针对“保持全员参与”、“让学生建立关联”和“复述”等策略。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否在真实 K-12 数学课堂录音中实现高精度的教师谈话策略分类？
• RQ2 在嘈杂、真实世界的课堂数据中，该 Transformer 模型在分类对话策略方面的表现与先前的 Bi-LSTM 模型相比如何？
• RQ3 自动语音识别质量在多大程度上影响课堂转录中谈话策略分类的准确性？
• RQ4 在低资源、嘈杂且类别不平衡的课堂语音数据（尤其是儿童语言）上应用 NLP 模型时，会遇到哪些技术挑战？
• RQ5 该系统能否生成足够可靠且可操作的反馈，以支持教师专业学习，接近人类专家的一致性水平？

主要发现

• 基于 Transformer 的模型实现了 79.3% 的 F1 得分，显著优于先前 Bi-LSTM 模型的 65% F1 得分。
• “复述”谈话策略的个体 F1 得分为最低，仅 69%，表明其检测存在显著困难，可能源于句法和语义的多样性。
• “保持全员参与”和“让学生建立关联”策略的 F1 得分分别为 75% 和 73%，表明在维持对话连贯性方面表现中等但未达最优。
• 错误分析显示，仅使用前一个学生话语作为上下文可能限制模型性能，尤其对依赖上下文的策略影响更大。
• Amazon Transcribe 对学生话语的识别严重不足，因儿童不稳定的发音和声学差异导致置信度低、错误率高。
• 尽管存在 ASR 限制，系统的整体性能仍接近教育观察研究中公认的 80% 评分者间一致性阈值。