[论文解读] The TalkMoves Dataset: K-12 Mathematics Lesson Transcripts Annotated for Teacher and Student Discursive Moves

Abhijit Suresh, Jennifer Jacobs+4 more|arXiv (Cornell University)|Apr 6, 2022

Innovative Teaching and Learning Methods被引用 11

一句话总结

TalkMoves 数据集提供了 567 份经过人工标注的 K-12 数学课堂实录，包含基于负责任对话理论的十种话语行为的句子级标签，涵盖教师和学生的对话行为，以及来自 Switchboard 语料库的对话行为标注。该数据集支持自然语言处理与机器学习在课堂话语研究中的应用，为实时教师反馈工具（如 TalkMoves 应用）提供支持，并通过理论驱动、伦理合规的资源推动教育人工智能的发展。

ABSTRACT

Transcripts of teaching episodes can be effective tools to understand discourse patterns in classroom instruction. According to most educational experts, sustained classroom discourse is a critical component of equitable, engaging, and rich learning environments for students. This paper describes the TalkMoves dataset, composed of 567 human-annotated K-12 mathematics lesson transcripts (including entire lessons or portions of lessons) derived from video recordings. The set of transcripts primarily includes in-person lessons with whole-class discussions and/or small group work, as well as some online lessons. All of the transcripts are human-transcribed, segmented by the speaker (teacher or student), and annotated at the sentence level for ten discursive moves based on accountable talk theory. In addition, the transcripts include utterance-level information in the form of dialogue act labels based on the Switchboard Dialog Act Corpus. The dataset can be used by educators, policymakers, and researchers to understand the nature of teacher and student discourse in K-12 math classrooms. Portions of this dataset have been used to develop the TalkMoves application, which provides teachers with automated, immediate, and actionable feedback about their mathematics instruction.

研究动机与目标

• 创建一个公开可获取、伦理合规的 K-12 数学课堂实录语料库，以支持课堂话语与教育人工智能研究。
• 通过提供基于负责任对话理论的标准化标注，解决公开共享、理论基础扎实的课堂数据稀缺的问题。
• 支持自然语言处理与机器学习应用，分析真实数学课堂中师生话语模式。
• 通过提供标注的话语模式基础，支持教师自动化反馈工具的开发。
• 通过匿名化处理所有个人身份信息并获得机构审查委员会（IRB）批准，确保数据共享的伦理规范，同时维护研究完整性和隐私。

提出的方法

• 从 K-12 数学课堂的视频录制中收集实录，涵盖面对面与在线授课形式，包含完整或部分课程内容。
• 每份实录按说话人（教师或学生）进行分段，并在句子级别对源自负责任对话理论的十种特定话语行为进行标注。
• 数据集包含在话语层面的对话行为标签，源自 Switchboard 对话行为语料库，以增强话语分析能力。
• 人工标注员依据标准化编码方案进行标注，具有较高的评分者间一致性，由负责任对话与教育话语领域的专家指导。
• 数据收集与标注严格遵循伦理规范，包括获得 IRB 批准，并对所有个人身份信息进行匿名化处理。
• 数据集经过精心整理，以支持自然语言处理任务，如话语行为预测、对话行为分类及反馈系统开发。

实验结果

研究问题

• RQ1 大规模、公开可用的标注课堂实录数据集在教育领域自然语言处理与人工智能研究中能发挥何种作用？
• RQ2 在 K-12 数学课堂中，特定的教师与学生话语行为在多大程度上能预测课堂话语的公平性与严谨性？
• RQ3 基于负责任对话理论的话语标注能否在真实课堂实录中可靠应用，并实现高评分者间一致性？
• RQ4 来自 Switchboard 语料库的对话行为标签与数学课堂中的教育话语模式如何对齐？
• RQ5 该数据集在训练能够为教师提供实时反馈的对话式人工智能代理方面具有何种潜力？

主要发现

• TalkMoves 数据集包含 567 份 K-12 数学课堂实录，100% 的实录均基于负责任对话理论对教师与学生话语行为进行了标注。
• 数据集包含六种教师话语行为与四种学生话语行为的句子级标注，这些行为因在语料中频率高且评分者间一致性强而被选中。
• 成功将 Switchboard 语料库的对话行为标签映射至课堂话语，实现了教育对话跨理论分析。
• 该数据集已被用于训练未来话语行为预测（FTMP）模型，该任务对教学中实时反馈系统至关重要。
• 该数据集正被一个国家人工智能研究所用于探索负责任对话框架在科学课堂及其他学科中的可推广性。
• 该数据集已与致力于儿童导向语音识别模型的研究人员共享，证明其在传统自然语言处理任务之外的广泛实用性。