[论文解读] Time-varying Learning and Content Analytics via Sparse Factor Analysis

Andrew Lan, Christoph Studer+1 more|arXiv (Cornell University)|Dec 19, 2013

Online Learning and Analytics参考文献 31被引用 1

一句话总结

SPARFA-Trace 提出了一种基于消息传递的近似卡尔曼滤波器，用于时变学习与内容分析，通过二值响应数据和活动数据联合估计学习者动态演化的概念知识、问题-概念关联以及问题难度。该方法在预测未观测到的响应方面达到最先进性能，同时支持知识演化的动态追踪与资源质量评估。

ABSTRACT

We propose SPARFA-Trace, a new machine learning-based framework for time-varying learning and content analytics for education applications. We develop a novel message passing-based, blind, approximate Kalman filter for sparse factor analysis (SPARFA), that jointly (i) traces learner concept knowledge over time, (ii) analyzes learner concept knowledge state transitions (induced by interacting with learning resources, such as textbook sections, lecture videos, etc, or the forgetting effect), and (iii) estimates the content organization and intrinsic difficulty of the assessment questions. These quantities are estimated solely from binary-valued (correct/incorrect) graded learner response data and a summary of the specific actions each learner performs (e.g., answering a question or studying a learning resource) at each time instance. Experimental results on two online course datasets demonstrate that SPARFA-Trace is capable of tracing each learner's concept knowledge evolution over time, as well as analyzing the quality and content organization of learning resources, the question-concept associations, and the question intrinsic difficulties. Moreover, we show that SPARFA-Trace achieves comparable or better performance in predicting unobserved learner responses than existing collaborative filtering and knowledge tracing approaches for personalized education.

研究动机与目标

• 为解决现有个性化学习系统中静态知识状态假设的局限性，通过建模动态、时变的学习者概念知识。
• 仅通过最少的数据输入（二值正确/错误响应与学习者活动日志），实现对学习者知识演进、内容组织结构与问题难度的联合估计。
• 通过准确建模学习与遗忘动态，支持个性化教育，实现实时、自适应的推荐。

提出的方法

• 开发一种基于消息传递的近似卡尔曼滤波器，用于稀疏因子分析（SPARFA），以处理时变的学习者知识状态。
• 使用 probit 链接函数建模学习者响应，其中正确性取决于潜在的概念知识、问题-概念关联以及问题难度。
• 将学习者活动矩阵（如学习资源）作为输入，以建模因学习或遗忘引起的知识状态转移。
• 使用矩匹配近似概念知识的后验分布，通过最小化 KL 散度实现可处理的推理。
• 通过分析随时间变化的估计知识状态，估计内容参数（如资源质量、问题难度）。
• 采用盲的、无监督的框架，仅需二值响应与活动数据，无需真实知识标签。

实验结果

研究问题

• RQ1 能否通过仅使用二值响应与活动数据的机器学习框架，联合追踪个体学习者知识随时间的演变？
• RQ2 此类框架在多大程度上能准确估计评估问题与学习资源的内在难度与内容组织结构？
• RQ3 与现有的协同过滤与知识追踪方法相比，该模型在预测未观测到的学习者响应方面表现如何？
• RQ4 该框架在多大程度上能准确建模学习资源带来的学习效应与随时间的遗忘效应？
• RQ5 该框架能否在无先验标注的情况下，自动推断问题-概念关联与资源内容结构？

主要发现

• 在两个在线课程数据集上，SPARFA-Trace 在预测未观测到的学习者响应方面，性能与现有协同过滤和知识追踪方法相当或更优。
• 该框架成功追踪了个体学习者随时间演变的概念知识，捕捉到了学习提升与遗忘效应。
• 它能准确估计问题-概念关联与内在问题难度，为评估设计与内容结构提供洞察。
• 该模型基于学习资源对知识状态转移的影响，推断出学习资源（如教科书章节、视频）的内容组织与质量。
• 基于消息传递的近似卡尔曼滤波方法，实现了在大规模教育数据上的高效、可扩展推理，且数据需求极低。
• 实证结果表明，该框架通过基于动态演化学习者状态的数据驱动推荐，有效支持了个性化教育。