[论文解读] Tag-Aware Ordinal Sparse Factor Analysis for Learning and Content Analytics

Andrew Lan, Christoph Studer+2 more|arXiv (Cornell University)|Dec 18, 2014

Online Learning and Analytics参考文献 28被引用 6

一句话总结

本文提出 Ordinal SPARFA-Tag，作为 SPARFA 框架的新型扩展，用于建模有序（部分得分）学习者响应，并利用教师提供的题目标签以提升学习与内容分析中的可解释性与预测准确性。通过将有序响应建模与标签感知的稀疏因子分析相结合，该方法在预测缺失响应方面优于 SPARFA 及当前最先进的协同过滤技术，同时生成可解释的概念-题目关联。

ABSTRACT

Machine learning offers novel ways and means to design personalized learning systems wherein each student's educational experience is customized in real time depending on their background, learning goals, and performance to date. SPARse Factor Analysis (SPARFA) is a novel framework for machine learning-based learning analytics, which estimates a learner's knowledge of the concepts underlying a domain, and content analytics, which estimates the relationships among a collection of questions and those concepts. SPARFA jointly learns the associations among the questions and the concepts, learner concept knowledge profiles, and the underlying question difficulties, solely based on the correct/incorrect graded responses of a population of learners to a collection of questions. In this paper, we extend the SPARFA framework significantly to enable: (i) the analysis of graded responses on an ordinal scale (partial credit) rather than a binary scale (correct/incorrect); (ii) the exploitation of tags/labels for questions that partially describe the question{concept associations. The resulting Ordinal SPARFA-Tag framework greatly enhances the interpretability of the estimated concepts. We demonstrate using real educational data that Ordinal SPARFA-Tag outperforms both SPARFA and existing collaborative filtering techniques in predicting missing learner responses.

研究动机与目标

• 为解决个性化学习系统中二值响应建模的局限性，支持对有序（部分得分）学习者响应的分析。
• 通过整合教师提供的标签作为结构化先验知识，提升所学概念-题目关联的可解释性。
• 从稀疏的有序响应数据中联合估计学习者概念知识、题目难度以及概念-题目关系。
• 在预测未观测到的学习者响应方面，超越现有协同过滤方法与基于 SPARFA 的方法。
• 发现超出预设标签的新颖、数据驱动的概念-题目关联。

提出的方法

• 将 SPARFA 框架扩展以使用具有有序阈值的潜变量模型来建模有序响应，其中观测得分由隐藏连续响应与分箱边界决定。
• 引入一个概率模型，其中潜变量响应 $ Z_{i,j} = \mathbf{w}_i^T \mathbf{c}_j + \mu_i $ 通过量化 $ Y_{i,j} = \mathcal{Q}(Z_{i,j} + \epsilon_{i,j}) $ 映射到有序得分。
• 对概念-题目关联矩阵 $ \mathbf{W} $ 施加非负性与稀疏性约束，以确保可解释的稀疏分解。
• 将教师提供的标签作为结构化先验，引导概念-题目关联的估计，从而增强可解释性。
• 采用块坐标下降法，通过交替优化 $ \mathbf{W}, \mathbf{C}, \boldsymbol{\mu}, \mathbf{B} $（分箱边界）以及精度参数，求解非凸优化问题。
• 对学习者概念知识矩阵 $ \mathbf{C} $ 应用核范数正则化，以提升泛化能力与预测性能。

实验结果

研究问题

• RQ1 在学习分析中，建模有序（部分得分）响应是否能显著提升相比二值响应模型的预测准确性？
• RQ2 在因子分析中，整合教师提供的标签如何增强所学概念-题目关联的可解释性？
• RQ3 该模型能否发现超出预设标签的新颖、数据驱动的概念-题目关系？
• RQ4 有序响应建模与标签感知稀疏性的结合是否在预测缺失响应方面优于现有协同过滤技术？
• RQ5 不同的正则化策略与分箱边界学习方法如何影响模型性能与可解释性？

主要发现

• Ordinal SPARFA-Tag 在真实世界数据集上预测缺失有序响应方面，显著优于 SPARFA 与现有协同过滤方法（SVD++ 与 OrdRec）。
• 在 Mechanical Turk 代数测试数据集上，该模型实现了最低的均方误差，表现出卓越的预测性能。
• 学习分箱边界（共享或每题独立）的模型变体表现几乎完全一致，表明对分箱边界设定具有鲁棒性。
• 在学习者概念矩阵 $ \mathbf{C} $ 上引入核范数正则化，可进一步提升预测准确性，超越当前最先进的协同过滤技术。
• 该方法成功发现了初始标签信息中不存在的新颖、可解释的概念-题目关联，提升了模型的适应能力。
• 标签感知建模支持为学习者与教师提供可解释的反馈，助力个性化推荐与内容优化。