[论文解读] Strategize Before Teaching: A Conversational Tutoring System with Pedagogy Self-Distillation

Lingzhi Wang, Mrinmaya Sachan+2 more|arXiv (Cornell University)|Feb 27, 2023

Intelligent Tutoring Systems and Adaptive Learning被引用 2

一句话总结

该论文提出了一种统一的对话式辅导系统，通过自蒸馏机制联合预测教学策略并生成导师回复，以提升策略预测和回复质量。实验表明，先预测策略再生成回复显著提升了回复性能，所提模型在三个基准数据集上均优于强基线模型。

ABSTRACT

Conversational tutoring systems (CTSs) aim to help students master educational material with natural language interaction in the form of a dialog. CTSs have become a key pillar in educational data mining research. A key challenge in CTSs is to engage the student in the conversation while exposing them to a diverse set of teaching strategies, akin to a human teacher, thereby, helping them learn in the process. Different from previous work that generates responses given the strategies as input, we propose to jointly predict teaching strategies and generate tutor responses accordingly, which fits a more realistic application scenario. We benchmark several competitive models on three dialog tutoring datasets and propose a unified framework that combines teaching response generation and pedagogical strategy prediction, where a self-distillation mechanism is adopted to guide the teaching strategy learning and facilitate tutor response generation. Our experiments and analyses shed light on how teaching strategies affect dialog tutoring.

研究动机与目标

• 为解决将多样化教学策略整合到对话式辅导系统（CTS）中的挑战，以实现更有效、更接近人类的辅导。
• 开发一种统一框架，联合训练教学策略预测与回复生成，以实现更真实的辅导互动。
• 通过自蒸馏机制缓解在低资源、类别不平衡的辅导数据集中教学策略预测的困难，利用目标回复生成的软标签提升性能。

提出的方法

• 提出一种统一框架，利用预训练语言模型联合训练教学策略预测与导师回复生成。
• 引入自蒸馏机制，模型从基于真实导师回复预测策略生成的软标签中学习。
• 利用增强后的策略预测结果指导回复生成，提升回复的连贯性与教学相关性。
• 采用共享表示的双编码器-解码器架构，用于策略与回复建模。
• 利用在三个对话式辅导数据集（CIMA、TSCC 和 TalkMoves）上微调的预训练模型（BART、mBART）。
• 应用知识蒸馏，将基于回复感知的策略预测知识迁移至策略预测任务，以提升其性能。

实验结果

研究问题

• RQ1 联合学习教学策略预测与回复生成在多大程度上提升了对话式辅导系统中导师回复的质量？
• RQ2 自蒸馏在低资源、类别不平衡的辅导数据集中对教学策略预测的提升程度如何？
• RQ3 准确的策略预测能否显著增强回复生成性能？若使用错误策略作为引导，会产生何种影响？
• RQ4 不同教学策略（如启发、重述、结束）如何影响导师回复的风格与内容？
• RQ5 使用基于回复条件的策略预测生成的软标签，对整体系统性能有何影响？

主要发现

• 所提模型结合自蒸馏在全部三个对话式辅导数据集上均达到最先进性能，无论在策略预测还是回复生成任务上均优于强基线模型。
• 利用基于回复条件模型生成的软标签进行策略预测，使策略准确率最高提升18.1个百分点（例如，mBART在CIMA上的准确率从63.3%提升至70.4%）。
• 使用黄金教学策略指导回复生成，显著提升了所有模型的BLEU与BERTScore，验证了教学策略对回复质量的积极影响。
• 当仅从上下文预测策略（无回复引导）时，性能显著下降，尤其对较弱模型影响更大，凸显了改进策略预测的必要性。
• 在“需要预测策略”设置下，自蒸馏模型在CIMA上达到12.1的BLEU分数，在TalkMoves上达到5.47的BLEU分数，分别优于最佳基线模型（mBART）1.5和2.5个BLEU点。
• 案例研究显示，相同输入上下文在搭配不同教学策略时，会生成截然不同的导师回复，证实了策略在塑造导师行为中的关键作用。