[论文解读] Probabilistically-autoencoded horseshoe-disentangled multidomain item-response theory models

Joshua C. Chang, Shashaank Vattikuti+1 more|arXiv (Cornell University)|Dec 5, 2019

Gaussian Processes and Bayesian Inference参考文献 28被引用 4

一句话总结

本文提出了一种统一的、单步的、基于概率的自编码框架，用于多维项目反应理论（IRT），通过引入促进稀疏性的霍尔什夫先验（horseshoe priors）实现IRT内部的因子分解，从而消除了对预处理探索性因子分析的需求。通过将IRT建模为使用贝叶斯神经网络编码器的概率自编码器，该方法实现了可解释的、解耦的潜在特质估计，同时通过WAIC实现更稳定的维度选择与更高的稳定性，同时保持后验依赖关系以实现精确评分。

ABSTRACT

Item response theory (IRT) is a non-linear generative probabilistic paradigm for using exams to identify, quantify, and compare latent traits of individuals, relative to their peers, within a population of interest. In pre-existing multidimensional IRT methods, one requires a factorization of the test items. For this task, linear exploratory factor analysis is used, making IRT a posthoc model. We propose skipping the initial factor analysis by using a sparsity-promoting horseshoe prior to perform factorization directly within the IRT model so that all training occurs in a single self-consistent step. Being a hierarchical Bayesian model, we adapt the WAIC to the problem of dimensionality selection. IRT models are analogous to probabilistic autoencoders. By binding the generative IRT model to a Bayesian neural network (forming a probabilistic autoencoder), one obtains a scoring algorithm consistent with the interpretable Bayesian model. In some IRT applications the black-box nature of a neural network scoring machine is desirable. In this manuscript, we demonstrate within-IRT factorization and comment on scoring approaches.

研究动机与目标

• 通过将因子分解直接整合到IRT模型中，消除在多维IRT中对预处理探索性因子分析的需求。
• 通过使用具有霍尔什夫先验的分层贝叶斯框架对项目-项目关系进行稀疏编码，提升模型的稳定性和可解释性。
• 通过将IRT生成模型与贝叶斯神经网络编码器耦合，形成概率自编码器，实现对新测试被试的一致评分。
• 通过保留后验依赖关系（采用结构化变分推断或MCMC），解决高风险测试中神经网络评分的黑箱问题。
• 利用WAIC支持IRT中的维度选择，确保模型选择基于预测准确性与不确定性传播。

提出的方法

• 基于等级反应模型（GRM）构建分层贝叶斯IRT模型，用于建模具有个体特质与项目特定参数的有序项目反应。
• 应用霍尔什夫先验以在项目-特质载荷中诱导稀疏性，实现在IRT模型内部的自动、数据驱动的因子分解，无需外部因子分析。
• 将IRT模型视为概率解码器，并与贝叶斯神经网络编码器耦合，形成概率自编码器架构。
• 采用变分推断（ADVI）结合结构化近似或MCMC，在评分过程中保留后验依赖关系，避免使用单变量均值场近似。
• 使用WAIC进行模型比较与维度选择，实现对具有不同潜在特质数的模型进行合理比较。
• 通过从联合后验进行蒙特卡洛抽样，确保在后验依赖关系非平凡时的准确预测分布。

实验结果

研究问题

• RQ1 使用稀疏编码的IRT内部因子分解是否可以替代多维IRT中传统的预处理因子分析？
• RQ2 将因子分解直接整合到IRT模型中，对潜在特质估计的稳定性和可解释性有何影响？
• RQ3 与标准IRT或黑箱神经网络相比，概率自编码器框架在评分准确性和一致性方面改善程度如何？
• RQ4 WAIC是否能有效指导具有复杂后验依赖关系的高维IRT模型中的维度选择？
• RQ5 分层贝叶斯模型的池化特性在与线性因子分析相比时，如何增强IRT中的鲁棒性？

主要发现

• 使用霍尔什夫先验的IRT内部因子分解在项目载荷上表现出比线性因子分析更高的稳定性，尤其在项目在不同模型间完全切换因子时表现更优。
• 三维IRT模型的预测准确性略优于二维模型，但WAIC差异在1个标准误范围内，表明性能相近。
• 与线性因子分析将道德与宗教信仰相关项目归为第一因子不同，IRT内部因子分解正确地将其重新归类为第二因子，更符合基于内容的领域结构。
• 在IRT内部模型中，第二维部分泄露至第三维，而线性因子分析则导致项目完全重新分配，表明贝叶斯方法具有更高的鲁棒性。
• 必须使用MCMC或结构化变分推断以保留后验依赖关系，因为均值场近似会导致错误的预测分布。
• 概率自编码器框架通过神经网络推理实现了快速、可解释的评分，同时保持与贝叶斯IRT模型生成过程的一致性。