[论文解读] Reinforcement Learning Tutor Better Supported Lower Performers in a Math Task

Sherry Ruan, Allen Nie+10 more|arXiv (Cornell University)|Apr 11, 2023

Online Learning and Analytics被引用 4

一句话总结

本研究将深度强化学习（RL）应用于开发一种基于叙事的自适应AI导师，以实现实时教学支持的优化。强化学习智能体通过提供个性化提示，显著提升了学习成效，尤其对低成就学生效果更明显，且结果在不同学生群体中具有泛化性，经可解释AI方法验证。

ABSTRACT

Resource limitations make it hard to provide all students with one of the most effective educational interventions: personalized instruction. Reinforcement learning could be a key tool to reduce the development cost and improve the effectiveness of intelligent tutoring software that aims to provide the right support, at the right time, to a student. Here we illustrate that deep reinforcement learning can be used to provide adaptive pedagogical support to students learning about the concept of volume in a narrative storyline software. Using explainable artificial intelligence tools, we extracted interpretable insights about the pedagogical policy learned and demonstrated that the resulting policy had similar performance in a different student population. Most importantly, in both studies, the reinforcement-learning narrative system had the largest benefit for those students with the lowest initial pretest scores, suggesting the opportunity for AI to adapt and provide support for those most in need.

研究动机与目标

• 探究强化学习是否能自动优化基于叙事的数学学习环境中自适应教学支持。
• 评估RL训练的导师是否能提升学习成效，特别是对初始知识水平较低的学生。
• 通过可解释AI（XAI）技术确保所学策略具有可解释性。
• 测试RL策略在具有不同社会经济和地理背景的学生群体中的泛化能力。
• 评估RL导师的益处是源于任务时间增加，还是实际教学有效性。

提出的方法

• 使用先前研究的离线交互数据，训练深度Q网络（DQN）以学习在基于叙事的数学辅导系统中选择最优提示的策略。
• 状态空间包括学生知识估计值、近期表现和参与度指标；动作空间由不同类型提示和反馈组成。
• 将策略蒸馏为轻量化模型，用于在第二项研究中面向不同学生群体的部署。
• 采用可解释AI技术（包括注意力图和显著性分析）解释RL策略，验证其决策过程。
• 系统通过网络钩子和基于GraphQL的后端，利用实时用户交互数据（包括测验回答和聊天记录）更新智能体策略。
• A/B测试比较了RL驱动的叙事AI导师与无自适应支持的对照条件，涵盖两组独立学生队列的两项独立研究。

Figure 1: Tutoring AI Guide Interface : A child solves a math problem while interacting with the AI-driven tutoring guide. The child can click on the “helpful?” button if they consider the AI tutor’s response to be helpful. The child can also click on “I want to stop playing” to quit the activity at

实验结果

研究问题

• RQ1 强化学习能否有效学习在基于叙事的数学学习环境中提供自适应、个性化的教学支持？
• RQ2 RL驱动的导师是否能提升学习成效，特别是对初始知识水平较低的学生？
• RQ3 RL策略能否成功迁移并泛化到具有不同人口统计特征和社会经济背景的另一学生群体？
• RQ4 观察到的改善是由于任务时间增加，还是实际教学有效性所致？
• RQ5 可解释AI方法能否提供关于RL智能体如何做出教学决策的有意义洞察？

主要发现

• 在前测成绩最低（0–2分）的学生中，使用RL驱动的叙事AI导师后，后测表现提升最大，相对对照组提升22.5%。
• RL导师在所有前测表现组别中均优于对照组，但对低成就学生群体的提升最为显著，表明AI驱动教育可能具有促进教育公平的潜力。
• 第一项研究中蒸馏出的策略在第二项研究中成功泛化，该研究学生群体在地理和经济社会背景上更具多样性，且观察到相似的性能提升。
• 各组间任务时间无显著差异，表明提升效果源于教学品质，而非参与时间增加。
• 可解释AI方法显示，RL策略在选择提示时优先考虑知识状态和近期表现，表明其行为具有可解释性和教学合理性。
• 所有前测组别的参与度得分在RL条件下均更高，但最显著的表现提升出现在最低分组，进一步证实了该系统对目标群体的精准影响。

Figure 2: The interaction between user and RL AI guide. The RL AI guide selects one of four actions and replies to the user once a message is received. The reward function is updated both during the interaction and after the child completes the post-quiz. Rewards 1–4 correspond to the reward functio