[论文解读] The Continuous Hint Factory - Providing Hints in Vast and Sparsely Populated Edit Distance Spaces

Benjamin Paaßen, Barbara Hammer+4 more|arXiv (Cornell University)|Aug 22, 2017

Intelligent Tutoring Systems and Adaptive Learning参考文献 6被引用 12

一句话总结

该论文提出了连续提示生成器（CHF），一种新颖的方法，通过利用相似过去学生状态的加权平均编辑操作（基于高斯过程）来在庞大且稀疏的编辑距离空间中生成下一步提示。该方法在预测能力强学生行为方面优于现有预测方案，尤其在开放式编程任务中表现突出，同时在简单任务上保持与专家提示相当的性能。

ABSTRACT

Intelligent tutoring systems can support students in solving multi-step tasks by providing hints regarding what to do next. However, engineering such next-step hints manually or via an expert model becomes infeasible if the space of possible states is too large. Therefore, several approaches have emerged to infer next-step hints automatically, relying on past students' data. In particular, the Hint Factory (Barnes & Stamper, 2008) recommends edits that are most likely to guide students from their current state towards a correct solution, based on what successful students in the past have done in the same situation. Still, the Hint Factory relies on student data being available for any state a student might visit while solving the task, which is not the case for some learning tasks, such as open-ended programming tasks. In this contribution we provide a mathematical framework for edit-based hint policies and, based on this theory, propose a novel hint policy to provide edit hints in vast and sparsely populated state spaces. In particular, we extend the Hint Factory by considering data of past students in all states which are similar to the student's current state and creating hints approximating the weighted average of all these reference states. Because the space of possible weighted averages is continuous, we call this approach the Continuous Hint Factory. In our experimental evaluation, we demonstrate that the Continuous Hint Factory can predict more accurately what capable students would do compared to existing prediction schemes on two learning tasks, especially in an open-ended programming task, and that the Continuous Hint Factory is comparable to existing hint policies at reproducing tutor hints on a simple UML diagram task.

研究动机与目标

• 解决在传统基于频率的提示系统因数据不足而失效的庞大且稀疏的状态空间中生成有效下一步提示的挑战。
• 通过在状态间引入基于相似性的泛化，扩展提示生成器框架，实现连续嵌入。
• 构建一个数学上严谨的基于编辑的提示策略框架，以预测在未见过或极少访问的状态下可能的学生行为。
• 评估CHF在预测学生行为方面是否比现有模型更准确，尤其是在具有高度策略多样性的开放式编程任务中。

提出的方法

• 连续提示生成器构建一个连续的编辑距离空间，其中编辑距离对应欧氏距离，从而实现在状态之间的插值。
• 它使用高斯过程对相似过去学生状态中的编辑分布进行建模，并将这些编辑的加权平均作为提示。
• 该方法使用编辑距离函数识别与当前学生状态相似的参考状态，然后通过核平滑聚合其编辑操作。
• 提示被生成为预测分布中最可能的编辑，确保与能力强学生群体的一般趋势保持一致。
• 该方法利用程序表示中的句法和语义信息，确保编辑操作具有可行性且意义明确。
• 系统使用两个数据集进行评估：UML图任务和开放式编程任务，将提示质量与现有策略进行比较。

实验结果

研究问题

• RQ1 在传统频率方法因数据不足而失效的庞大且稀疏的状态空间中，数据驱动的提示策略是否能有效泛化？
• RQ2 连续提示生成器在预测能力学生在相似状态下的行为方面，与现有预测方案相比表现如何？
• RQ3 CHF在策略多样性较低的任务（如UML图构建）中是否仍能保持高质量的提示生成？
• RQ4 CHF基于平均的编辑方法在开放式编程任务中能多大程度上提升预测准确性？

主要发现

• 在开放式编程任务中，CHF显著优于现有预测方案，尤其在早期步骤中策略多样性高的情况下，对能力强学生行为的预测表现更优。
• 在UML图任务中，CHF生成的提示质量与人类导师提示相当，且与现有提示策略性能相当，表明其在简单任务上的鲁棒性。
• 在UML数据集中，CHF在每条轨迹的前三个步骤中均实现了完美的提示质量，显示出强大的早期引导潜力。
• 该方法表明，通过高斯过程对相似过去状态的编辑进行平均，可显著提升稀疏数据环境下的预测准确性。
• 在复杂且开放式任务中，CHF的优势最为明显，此时学生路径的差异性极大。