[论文解读] Parsimonious Mixed Models

Douglas M. Bates, Reinhold Kliegl+2 more|arXiv (Cornell University)|Jun 16, 2015

Statistical Methods and Bayesian Inference参考文献 18被引用 1,116

一句话总结

本文挑战了混合效应模型中的'保持最大复杂度'方法，通过证明过度参数化的随机效应结构通常因数据不足而无法收敛，而非算法缺陷。文章提出一种简洁的模型选择策略，结合主成分分析（PCA）、方差成分剔除和相关性约束，以检测并解决过度参数化问题，表明更简单的模型可实现等效的固定效应推断，并避免产生无法解释的结果。

ABSTRACT

The analysis of experimental data with mixed-effects models requires decisions about the specification of the appropriate random-effects structure. Recently, Barr, Levy, Scheepers, and Tily, 2013 recommended fitting `maximal' models with all possible random effect components included. Estimation of maximal models, however, may not converge. We show that failure to converge typically is not due to a suboptimal estimation algorithm, but is a consequence of attempting to fit a model that is too complex to be properly supported by the data, irrespective of whether estimation is based on maximum likelihood or on Bayesian hierarchical modeling with uninformative or weakly informative priors. Importantly, even under convergence, overparameterization may lead to uninterpretable models. We provide diagnostic tools for detecting overparameterization and guiding model simplification.

研究动机与目标

• 解决心理语言学和心理学研究中广泛使用的最大线性混合模型（LMMs）频繁出现非收敛问题的挑战。
• 证明非收敛并非源于估计算法缺陷，而是由于模型复杂度超出了数据支持能力。
• 开发诊断工具和系统化程序，对过度参数化的LMMs进行简化，同时不损害固定效应推断的有效性。
• 表明最大模型既非有效推断的必要条件也非充分条件，且简约性可提升模型的可解释性和可靠性。

提出的方法

• 使用主成分分析（PCA）确定随机效应方差-协方差矩阵的有效维度。
• 最初将随机效应结构中的所有相关性参数约束为零，以改善收敛性并减少过度参数化。
• 基于似然比检验（LRTs）系统性地剔除不显著的方差成分及其相关联的相关性参数。
• 从最大模型开始进行迭代式模型简化，每一步均评估拟合优度和收敛性。
• 使用似然比检验（LRTs）比较嵌套模型，评估被剔除的成分是否在统计上由数据支持。
• 同时采用最大似然和具有弱信息先验的贝叶斯分层建模，确认收敛失败是由数据驱动的，而非算法问题。

实验结果

研究问题

• RQ1 为何最大线性混合模型频繁出现无法收敛？这是否源于估计算法的局限性？
• RQ2 过度参数化的随机效应结构在多大程度上会导致无法解释或退化的方差-协方差矩阵？
• RQ3 是否存在一种系统性、简洁的模型简化方法，可可靠地恢复有效固定效应推断，而无需依赖最大模型？
• RQ4 当应用于真实世界的心理语言学数据时，支持'保持最大复杂度'方法的模拟研究在多大程度上具有代表性？
• RQ5 哪些诊断工具能够可靠地在模型拟合前或过程中检测到过度参数化？

主要发现

• 最大混合模型无法收敛并非源于估计算法缺陷，而是由于试图拟合超出数据支持能力的过复杂模型所致。
• 即使在收敛的情况下，过度参数化的模型也常产生退化或奇异的方差-协方差矩阵，表明随机效应不可识别或冗余。
• 通过主成分分析（PCA）、零相关性约束和逐步剔除不显著方差成分的简洁模型简化方法，可获得既收敛又可解释的模型。
• 在所有分析的真实数据集中，最大模型与简化模型在固定效应预测因子的结论上保持一致，表明最大模型并非有效推断的必要条件。
• 支撑'保持最大复杂度'建议的模拟研究并不反映真实数据情况，因为其使用了不切实际的大效应量和极端相关性参数（如±0.8），这些在现实中极少出现。
• 过度参数化模型可能在小数点后几位影响标准误，进而导致p值跨过常规显著性阈值，但这些变化不会改变关于固定效应的实质性结论。