[论文解读] Optimal Hierarchical Learning Path Design with Reinforcement Learning

Xiao Li, Hanchen Xu+2 more|arXiv (Cornell University)|Oct 12, 2018

Online Learning and Analytics被引用 4

一句话总结

本文提出了一种无模型强化学习框架，通过认知诊断模型（CDMs）和隐马尔可夫模型（HMMs）对层次化技能和熟练度水平进行建模，以优化电子学习系统中的个性化学习路径。该方法在无需事先了解状态转移动态的情况下学习最优学习策略，在奖励和收敛速度方面优于启发式方法，即使在估计误差存在的情况下也表现出色。

ABSTRACT

E-learning systems are capable of providing more adaptive and efficient learning experiences for students than the traditional classroom setting. A key component of such systems is the learning strategy, the algorithm that designs the learning paths for students based on information such as the students' current progresses, their skills, learning materials, and etc. In this paper, we address the problem of finding the optimal learning strategy for an E-learning system. To this end, we first develop a model for students' hierarchical skills in the E-learning system. Based on the hierarchical skill model and the classical cognitive diagnosis model, we further develop a framework to model various proficiency levels of hierarchical skills. The optimal learning strategy on top of the hierarchical structure is found by applying a model-free reinforcement learning method, which does not require information on students' learning transition process. The effectiveness of the proposed framework is demonstrated via numerical experiments.

研究动机与目标

• 解决现有电子学习系统中技能层次与熟练度水平缺乏整合的问题。
• 构建一种分层学习模型，利用CDMs和HMMs显式表示技能结构与掌握水平。
• 采用无模型强化学习设计最优学习策略，无需事先掌握学生状态转移动态的知识。
• 在存在估计误差等现实条件下的评估中，对比所提强化学习策略与启发式方法的性能。
• 展示该强化学习方法在不同初始学习者熟练度水平下的鲁棒性与泛化能力。

提出的方法

• 基于属性层次模型构建分层技能模型，将技能表示为二值属性，并包含熟练度水平。
• 将学习过程建模为马尔可夫决策过程（MDP），其中学生状态由其属性配置定义，并根据响应数据通过HMMs进行更新。
• 使用认知诊断模型（CDMs）从学生对测评题目的回答中估计其隐藏属性配置。
• 应用无模型强化学习算法，学习选择学习材料的最优策略，而无需了解底层转移核。
• 系统利用响应数据迭代更新状态估计，并以数据驱动方式优化学习路径。
• 通过模拟训练轮次对框架进行训练，性能通过累积奖励和回合长度进行评估。

实验结果

研究问题

• RQ1 如何在电子学习系统中有效建模技能层次与熟练度水平，以支持个性化学习？
• RQ2 无模型强化学习方法是否能在不了解学生状态转移动态的前提下学习到最优学习策略？
• RQ3 与启发式策略相比，基于强化学习的策略在奖励和收敛速度方面表现如何？
• RQ4 在学生属性建模存在估计误差的情况下，基于强化学习的策略表现有多鲁棒？
• RQ5 所学习到的策略是否能泛化到具有不同初始技能配置的学习者？

主要发现

• 在无估计误差条件下，无模型强化学习方法的平均奖励达到6.43，显著高于启发式方法的平均奖励3.99。
• 强化学习方法将平均回合长度降低至7.34，而启发式方法为8.57，表明学习进度更快。
• 强化学习方法的奖励标准差为3.61，低于启发式方法的5.34，表明性能更稳定一致。
• 即使存在5%的估计误差，强化学习方法仍保持6.41的平均奖励，显示出对现实世界测量噪声的鲁棒性。
• 在所有测试的初始状态下，强化学习方法在200个回合内即收敛至最优策略，表明其能快速适应多样化的学习者配置。
• 图9的箱线图证实，强化学习方法在11种不同的估计误差水平下均持续优于启发式方法。