[论文解读] Refactor Analysis: Predictive Evaluations of Factor Models and Dimensionality

Michael Hardy|arXiv (Cornell University)|Mar 21, 2026

Psychometric Methodologies and Testing被引用 0

一句话总结

论文引入 Refactor 和 Verifactor 分析，以数据可恢复性而非图像拟合来评估单维性，比较多种相关度量，并强调样本外泛化。

ABSTRACT

Unidimensional factor models justify some of the most consequential summaries in science -- single scores, single ranks, and single leaderboards -- yet unidimensionality is usually assessed indirectly by fitting and evaluating models on images of the data (e.g., correlation matrices) rather than on the response matrix itself. We introduce Refactor analysis, a data-first evaluation paradigm that converts a one-factor solution into a rank-1 prediction of the original matrix by estimating both respondent- and item-side structure from dual association images. We further introduce Verifactor analysis, which evaluates the same construction under bi-cross-validated (BCV) row-column partitions for improved generalization. In simulations where the data-generating mechanism is truly rank-1 and correlational, Refactor metrics align with classical unidimensionality indices, validating the approach. However, across 200 public dichotomous datasets, traditional fit and unidimensionality measures, though highly intercorrelated, are weakly related to data recoverability, especially out of sample. This gap exposes a methodological vulnerability: excellent image-based fit can coexist with poor data-level explanatory power. Finally, treating the association measure itself as a testable hypothesis, we compare $ϕ$, tetrachoric, and quadrant correlation, $q^\prime$, an important reintroduction. Quadrant correlation emerges as a simple, interpretable, and remarkably robust alternative, yielding consistently stronger reconstruction and more stable behavior under sample-size variation than commonly used correlations. Together, Refactor and Verifactor shift unidimensionality assessment from "does a one-factor model fit the correlation matrix?" to the question that matters for measurement and benchmarking: does a one-factor dependence structure recover and generalize the observed responses?

研究动机与目标

• 将单维性评估动机化为可恢复性问题，而非仅仅图像拟合。
• 引入 Refactor 分析，从来自关联图像的秩-1 表示重构数据矩阵。
• 引入 Verifactor 分析，使用双重交叉验证（BCV）分区来评估对保留行和列的样本外泛化。
• 在 Refactor/Verifactor 框架中比较不同的关联度量（如 Pearson、tetrachoric、quadrant）。
• 提供在解释传统基于图像的单维性度量时，与数据层面的可恢复性并行的指导意义。

提出的方法

• 将 Refactor 重构定义为来自关联图像的行向量和列向量载荷所形成的秩-1 外积。
• 将 A_r 和 A_c 构建为来自数据 X 的行向量和列向量方向的关联图像。
• 分别通过降维运算从 A_r 和 A_c 获得载荷 u 和 v。
• 将 X 重构为 X_hat = u v^T，并评估 m(X, X_hat) 以评估可恢复性。
• 通过使用双重交叉验证块来保留行和列，扩展到 Verifactor，并预测保留块为 tilde{A}_{ij}^{(A)}，在折叠之间取平均。
• 采用等距 R^2 作为基于数据的恢复度量，以及作为比较的基于图像的单维性度量的 ECV。
• 讨论不同关联算子 A（如 Pearson、tetrachoric、quadrant）在可恢复性中的作用。

实验结果

研究问题

• RQ1 一个因子模型是否能够在超出图像拟合的意义上恢复并泛化观测响应？
• RQ2 Refactor 与 Verifactor 指标如何与传统的基于图像的单维性指数如 ECV 一致或背离？
• RQ3 哪些关联度量在重构和预测二元/序数据的潜在结构方面表现最好？
• RQ4 Isotonic R^2 能否作为一个单调、易解释的 rank-1 表示的恢复度量？
• RQ5 在随机行/随机列设计中使用 BCV 块预测对评估泛化有何影响？

主要发现

• 在秩-1 的模拟数据环境中，Refactor 指标与经典单维性指数一致，但在真实数据中揭示了图像拟合与数据可恢复性之间的分歧。
• 在 200 个公开二分数据集中，传统拟合度量与数据可恢复性关系较弱，凸显了基于图像的评估的脆弱性。
• Quadrant 相关性在 Refactor/Verifactor 框架中作为重建和预测数据的鲁棒替代方案，优于 Pearson 与 tetrachoric。
• Isotonic R^2 提供一个单调、可解释的恢复度量，在潜在信号与观测响应之间的单调关系下达到最优的方差解释。
• Verifactor 使用 BCV 针对随机行/随机列设计中的真实样本外泛化，降低泄漏和乐观偏差。
• 该框架将单维性测试从图像拟合转向对秩-1 结构的可恢复性与泛化。