[论文解读] Sparse factor analysis for learning and content analytics

Andrew Lan, Andrew E. Waters+2 more|arXiv (Cornell University)|Jan 1, 2014

Machine Learning and Algorithms参考文献 78被引用 133

一句话总结

本文提出 SPARFA，一种稀疏因子分析模型，通过评分响应联合估计学生知识与问题-概念关系。通过利用教育领域中关键概念的稀疏性，结合双凸优化与贝叶斯推断，实现稳健且可解释的学习与内容分析，并在合成数据与真实数据上进行了实证验证。

ABSTRACT

We develop a new model and algorithms for machine learning-based learning analytics, which estimate a learner's knowledge of the concepts underlying a domain, and content analytics, which estimate the relationships among a collection of questions and those concepts. Our model represents the probability that a learner provides the correct response to a question in terms of three factors: their understanding of a set of underlying concepts, the concepts involved in each question, and each question's intrinsic difficulty. We estimate these factors given the graded responses to a collection of questions. The underlying estimation problem is ill-posed in general, especially when only a subset of the questions are answered. The key observation that enables a well-posed solution is the fact that typical educational domains of interest involve only a small number of key concepts. Leveraging this observation, we develop both a bi-convex maximum-likelihood-based solution and a Bayesian solution to the resulting SPARse Factor Analysis (SPARFA) problem. We also incorporate user-defined tags on questions to facilitate the interpretability of the estimated factors. Experiments with synthetic and real-world data demonstrate the efficacy of our approach. Finally, we make a connection between SPARFA and noisy, binary-valued (1-bit) dictionary learning that is of independent interest.

研究动机与目标

• 解决从不完整、评分响应数据中估计学生知识与问题-概念关系时的病态问题。
• 利用教育领域中关键概念的固有稀疏性，使估计问题变为良态。
• 开发一个联合建模学生理解、问题难度与概念参与度的机器学习框架。
• 通过在问题上引入用户定义的标签，引导因子估计，提升可解释性。
• 建立 SPARFA 与 1-bit 字典学习之间的联系，以获得更广泛的理论洞察。

提出的方法

• 使用低秩、稀疏因子模型，将正确响应的概率表述为学生知识、问题-概念参与度与问题难度的函数。
• 应用双凸最大似然优化，在稀疏性约束下联合估计学生知识与概念-问题关系。
• 提出基于层次先验的贝叶斯公式，以正则化参数估计并提升鲁棒性。
• 将问题上的用户定义标签作为软约束，引导可解释概念的发现。
• 利用与 1-bit 字典学习的联系，将问题建模为从噪声二值观测中恢复稀疏因子。
• 采用交替优化与变分推断，高效求解估计问题。

实验结果

研究问题

• RQ1 稀疏因子分析能否有效从不完整响应数据中建模学生知识与问题-概念关系？
• RQ2 底层概念结构中的稀疏性在多大程度上提升了估计过程的可识别性与鲁棒性？
• RQ3 用户定义的标签在多大程度上能提升所学因子的可解释性，同时不损害准确性？
• RQ4 SPARFA 与 1-bit 字典学习之间存在何种关系？该联系提供了哪些理论洞察？
• RQ5 SPARFA 在真实世界教育数据集上的表现如何，相较于基线模型有何优势？

主要发现

• 即使仅部分问题被回答，SPARFA 仍能准确估计学生知识与问题-概念关系。
• 在合成数据上，模型表现出稳健性能，可在不同噪声水平与缺失数据条件下正确恢复真实的稀疏概念结构。
• 引入用户定义标签显著提升了所学因子的可解释性，且未降低预测性能。
• 与最大似然方法相比，SPARFA 的贝叶斯变体提供了更稳定的估计与更好的不确定性量化。
• 与 1-bit 字典学习的联系表明，SPARFA 可被视为一种具有稀疏性约束的、概率性且结构化的 1-bit 感知方法。
• 在真实世界数据上的实证评估表明，SPARFA 在预测准确率与因子可解释性方面均优于基线因子分析与知识追踪模型。