[论文解读] The Role of Mastery Learning in Intelligent Tutoring Systems: Principal Stratification on a Latent Variable

Adam Sales, John F. Pane|arXiv (Cornell University)|Jul 28, 2017

Intelligent Tutoring Systems and Adaptive Learning参考文献 40被引用 3

一句话总结

本文提出了一种新颖的贝叶斯主策略分层模型，结合项目反应理论（IRT），基于未观测到的潜在掌握能力，估计智能辅导系统（认知辅导代数I）中的治疗效应。通过将学生掌握内容的潜力建模为潜在变量，该方法考虑了缺失数据、不同部分的暴露差异以及测量误差——揭示出尽管未能掌握某些部分，但被频繁提升的学生实际上可能从辅导中获益更多，表明该系统能有效支持学习困难的学生。

ABSTRACT

Students in Algebra I classrooms typically learn at different rates and struggle at different points in the curriculum---a common challenge for math teachers. Cognitive Tutor Algebra I (CTA1), educational computer program, addresses such student heterogeneity via what they term "mastery learning," where students progress from one section of the curriculum to the next by demonstrating appropriate "mastery" at each stage. However, when students are unable to master a section's skills even after trying many problems, they are automatically promoted to the next section anyway. Does promotion without mastery impair the program's effectiveness? At least in certain domains, CTA1 was recently shown to improve student learning on average in a randomized effectiveness study. This paper uses student log data from that study in a continuous principal stratification model to estimate the relationship between students' potential mastery and the CTA1 treatment effect. In contrast to extant principal stratification applications, a student's propensity to master worked sections here is never directly observed. Consequently we embed an item-response model, which measures students' potential mastery, within the larger principal stratification model. We find that the tutor may, in fact, be more effective for students who are more frequently promoted (despite unsuccessfully completing sections of the material). However, since these students are distinctive in their educational strength (as well as in other respects), it remains unclear whether this enhanced effectiveness can be directly attributed to aspects of the mastery learning program.

研究动机与目标

• 解决在掌握程度未被直接观测且存在测量误差时，估计智能辅导系统中治疗效应的挑战。
• 使用项目反应理论（IRT）将学生掌握潜力建模为潜在变量，同时考虑部分暴露差异和不完整数据。
• 将主策略分层方法扩展至处理未观测到的中间变量，通过在因果框架内嵌入测量模型实现。
• 评估那些在未掌握部分的情况下仍被频繁提升的学生是否治疗效应降低，或是否因针对性支持而受益更多。
• 为关键中介变量为潜在且测量存在误差的教育干预提供因果推断的方法论框架。

提出的方法

• 本研究采用连续的贝叶斯主策略分层模型，基于潜在掌握能力下的治疗效应异质性进行估计。
• 使用Rasch模型（一种IRT形式）从学生日志数据中估计潜在掌握潜力（η_T），并考虑了学生尝试了哪些部分及其表现。
• 将IRT模型嵌入主策略分层框架中，实现对掌握潜力和治疗效应的联合估计。
• 通过项目反应理论对掌握能力进行标准化，以处理缺失数据和不同部分暴露的不均衡性。
• 采用分层先验结构来建模学生在掌握潜力和治疗反应上的个体差异，实现学生间的部分池化。
• 通过仔细指定先验分布并使用后验预测检查进行模型验证，确保模型识别。

实验结果

研究问题

• RQ1 即使掌握程度未被直接观测，认知辅导代数I系统的有效性是否因学生掌握内容部分的潜力不同而有所差异？
• RQ2 那些在未掌握某一部分的情况下仍被频繁提升的学生（即‘轮子空转’学生）是否更难从辅导中受益，还是反而受益更多？
• RQ3 通过IRT引入潜在掌握变量后，与使用可观测中间变量的传统主策略分层相比，因果推断的改进程度如何？
• RQ4 根据潜在掌握潜力定义的亚组中，治疗效应的差异程度如何？这种差异是由学生能力还是项目设计驱动的？
• RQ5 结合IRT与主策略分层的联合建模框架，是否能提供更准确且可解释的治疗效应异质性估计？

主要发现

• 那些被频繁提升但未掌握部分内容的学生——表明存在更高的‘轮子空转’行为——往往从认知辅导中获得更大的治疗效应，提示该系统可能特别有效于学习困难的学生。
• 通过IRT估计的潜在掌握潜力比可观测指标（如平均掌握率x̄m）提供了更可靠且细致的学生能力衡量，后者未能考虑部分暴露和选择偏差。
• 将IRT整合到主策略分层中，即使中间变量（掌握程度）未被观测且存在测量误差，也能实现有效的因果推断。
• 模型未发现‘未掌握即提升’会削弱辅导有效性；相反，数据表明此类学生可能受益更多。
• 模型检查和敏感性分析支持研究结果的稳健性，表明结果并非由模型误设或极端离群值驱动。
• 本研究证明，潜在变量主策略分层在教育研究中是可行且有价值的，尤其适用于关键中介变量未被观测或测量不准确的情况。