[论文解读] Non-identifiability, equivalence classes, and attribute-specific classification in Q-matrix based Cognitive Diagnosis Models

Stephanie S. Zhang, Lawrence T. DeCarlo+1 more|arXiv (Cornell University)|Mar 2, 2013

Multi-Criteria Decision Making参考文献 15被引用 9

一句话总结

本文通过引入产生相同反应模式的属性配置等价类，解决了基于Q矩阵的认知诊断模型（CDM），特别是DINA模型中的非可识别性问题。提出了一种一致的最大似然估计方法，用于估计在每个属性上边际可识别的被试比例，从而实现一种新的评估质量度量，并提出一种基于后验概率的分类方法，可在非可识别性条件下控制误分类率。

ABSTRACT

There has been growing interest in recent years in Q-matrix based cognitive diagnosis models. Parameter estimation and respondent classification under these models may suffer due to identifiability issues. Non-identifiability can be described by a partition separating attribute profiles into groups of those with identical likelihoods. Marginal identifiability concerns the identifiability of individual attributes. Maximum likelihood estimation of the proportion of respondents within each equivalence class is consistent, making possible a new measure of assessment quality reporting the proportion of respondents for whom each individual attribute is marginally identifiable. Arising from this is a new posterior-based classification method adjusting for non-identifiability.

研究动机与目标

• 正式处理基于Q矩阵的认知诊断模型中的非可识别性问题，特别是DINA模型中的问题。
• 基于个体属性在被试中边际可识别的比例，开发一种一致的评估质量度量。
• 提供一种可调整非可识别性并控制误分类概率的分类方法。
• 为在属性无法完全识别时提供模型评估与被试分类的实际指导。
• 将该框架扩展至其他CDM，包括DINO模型，并通过模拟和真实数据进行验证。

提出的方法

• 使用等价类根据模型下相同的似然值对属性配置空间进行划分，其定义基于共享的反应模式。
• 提出一种划分算法，可从任意给定的Q矩阵生成等价类，从而识别出非可识别的属性组合。
• 应用最大似然估计方法，随样本量增加，一致估计每个等价类中被试的比例。
• 通过评估在不同等价类中该属性掌握程度是否可区分，定义单个属性的边际可识别性。
• 提出一种新的基于后验概率的分类规则，考虑非可识别性，并通过利用边际可识别性的一致估计，最小化误分类率。
• 使用T矩阵（T*）的变体建立可识别性条件，证明当T矩阵满秩时，模型是可识别的。

实验结果

研究问题

• RQ1 如何通过属性配置的等价类，正式刻画基于Q矩阵的CDM中的非可识别性？
• RQ2 每个个体属性在多少比例的被试中是边际可识别的？该比例如何被一致估计？
• RQ3 能否从边际可识别属性的比例推导出一种新的评估质量度量？
• RQ4 如何调整分类规则以在非可识别性条件下控制误分类概率？
• RQ5 所提出的方法在DINA和DINO模型中，特别是在非可识别性情况下，对分类准确率的提升程度如何？

主要发现

• 当与Q矩阵相关的T矩阵具有满秩时，DINA模型是可识别的，该结论通过反应向量的词典序排列及等价类建立。
• 随着样本量增加，对每个等价类中被试比例的最大似然估计是一致的，从而支持可靠推断。
• 每个属性在被试中边际可识别的比例可被一致估计，提供了一种新的、可解释的评估质量度量。
• 所提出的分类方法基于对非可识别性进行调整的后验概率，相比标准方法能更有效地控制误分类率。
• 模拟分析及对Tatsuoka分数减法数据集的分析证实，非可识别性普遍存在，且所提出方法在这些情况下显著提高了分类准确率。
• 该框架可扩展至其他CDM，包括DINO模型，并在相同理论条件下保持一致性和可识别性。