[论文解读] Sufficient and Necessary Conditions for the Identifiability of the $Q$-matrix

Yuqi Gu, Gongjun Xu|arXiv (Cornell University)|Oct 9, 2018

Psychometric Methodologies and Testing参考文献 41被引用 16

一句话总结

本文首次建立了在DINA模型下，$Q$-matrix与受限潜类模型（RLCM）参数联合可识别性的充分必要条件。论文提出了三种关于$Q$-matrix的代数条件——完备性、相异性与重复性——这些条件可保证可识别性且在实践中易于验证，从而解决了认知诊断领域长期存在的开放性问题，并为模型从数据中可估计性提供了最小要求。

ABSTRACT

Restricted latent class models (RLCMs) have recently gained prominence in educational assessment, psychiatric evaluation, and medical diagnosis. Different from conventional latent class models, restrictions on the RLCM model parameters are imposed by a design matrix to respect practitioners' scientific assumptions. The design matrix, called $Q$-matrix in the cognitive diagnosis literature, is usually constructed by practitioners and domain experts, yet it is subjective and could be misspecified. To address this problem, researchers have proposed to estimate the $Q$-matrix from data. On the other hand, the fundamental learnability issue of the $Q$-matrix and model parameters remains underexplored and existing studies often impose stronger than needed or even impractical conditions. This paper proposes sufficient and necessary conditions for joint identifiability of the $Q$-matrix and the RLCM model parameters under different types of RLCMs. The developed identifiability conditions only depend on the design matrix and are easy to verify in practice.

研究动机与目标

• 为解决确定$Q$-matrix与RLCM参数联合可识别性的最小、可验证条件这一开放性问题。
• 解决认知诊断中$Q$-matrix误设的实际问题，即专家构建的$Q$-matrix可能存在错误或不可用。
• 为从响应数据中联合估计$Q$-matrix与模型参数提供理论基础，确保有效推断。
• 通过推导任何此类模型必须满足的必要条件，将可识别性结果从DINA模型推广至一般RLCMs。
• 引入并表征泛化可识别性作为严格可识别性在高维设置下的较弱、更实用的替代方案。

提出的方法

• 提出$Q$-matrix上的三个代数条件：完备性（包含一个单位矩阵子矩阵）、相异性（除单位矩阵子矩阵部分外所有列互不相同）与重复性（每列至少有三个1）。
• 利用这三个性质推导出$Q$-matrix与DINA模型参数严格可识别性的必要与充分条件。
• 通过DINA与DINO模型之间的对偶性，无需额外证明即可将可识别性结果扩展至DINO模型。
• 引入泛化可识别性作为严格可识别性的松弛形式，其中不可识别的参数集合的勒贝格测度为零。
• 通过MATLAB进行数值验证，计算边际响应概率，并确认在不同$Q$-matrix下替代参数集合的不可区分性。
• 基于公式(S4.41)采用系统化的参数构造方法，为每个示例生成70组替代参数集合，所有集合均产生相同的响应分布。

实验结果

研究问题

• RQ1 哪些关于$Q$-matrix的最小、可验证条件能确保$Q$-matrix与DINA模型参数的联合可识别性？
• RQ2 可识别性条件能否以简单、代数形式表达，便于在实践中检查？
• RQ3 所提出的条件与现有充分条件有何关系？其必要性如何？
• RQ4 当完整条件过于严格时，泛化可识别性在放松严格可识别性方面起什么作用？
• RQ5 该可识别性框架能否推广至DINA模型之外的一般RLCMs？

主要发现

• 所提出的条件——完备性、相异性与重复性——对于$Q$-matrix与DINA模型参数的联合可识别性而言，既是必要也是充分的。
• 可识别性条件完全基于$Q$-matrix的结构表达，无需了解模型参数即可轻松验证。
• 对于$K=3, J=20$，发现$Q_3$不可识别，因为在另一$\bar{Q}_3$下生成的70组替代参数集合产生的响应分布完全相同，最大差异为$1.30 \times 10^{-18}$，低于MATLAB机器精度。
• 对于$K=5, J=20$，在$Q_4$上也确认了类似的不可识别性，响应概率最大差异为$5.42 \times 10^{-19}$，再次低于机器误差，证实了不可区分性。
• 结果表明，任何不满足这三个条件的$Q$-matrix都无法保证在大样本量下参数的唯一估计。
• 泛化可识别性被确立为一种实用替代方案，其中不可识别的参数集合构成勒贝格测度为零的集合，使得尽管存在理论上的不可识别性，大多数情况下仍可实现可靠估计。