[论文解读] Parsimoniously Fitting Large Multivariate Random Effects in glmmTMB

Maeve McGillycuddy, Gordana Popović+2 more|arXiv (Cornell University)|Nov 7, 2024

Statistical Methods and Inference被引用 4

一句话总结

本文在 glmmTMB R 包中引入了一种降秩方法，通过将高维多变量随机效应表示为较少数量的潜在变量（d < q）的线性组合，从而高效估计具有高维相关结构的复杂混合模型。该方法实现了生态学和社会科学数据中多变量响应的可扩展建模，克服了非结构化协方差矩阵在收敛性和计算上的限制。

ABSTRACT

Multivariate random effects with unstructured variance-covariance matrices of large dimensions, $q$, can be a major challenge to estimate. In this paper, we introduce a new implementation of a reduced-rank approach to fit large dimensional multivariate random effects by writing them as a linear combination of $d &lt; q$ latent variables. By adding reduced-rank functionality to the package glmmTMB, we enhance the mixed models available to include random effects of dimensions that were previously not possible. We apply the reduced-rank random effect to two examples, estimating a generalized latent variable model for multivariate abundance data and a random-slopes model.

研究动机与目标

• 解决在广义线性混合模型中拟合高维（q）非结构化多变量随机效应时面临的计算与估计挑战。
• 扩展 glmmTMB 包，引入降秩因子分析结构，以高效处理高维多变量随机效应。
• 在保持简约性和计算可行性的同时，实现对复杂研究设计（如多水平和重复测量）的灵活建模。
• 为拟合具有大量相关响应变量（如物种种群丰度或调查项目）的广义潜变量模型（GLVMs）提供实用解决方案。
• 使原本在标准混合模型软件包中不可行的高维随机效应（如数百甚至数千种物种种群）的估计成为可能。

提出的方法

• 将高维多变量随机效应（q）表示为 d < q 个潜在变量的线性组合，将需估计的参数数量从 q(q+1)/2 减少至 d(q + d)/2。
• 采用因子分析模型结构，其中随机效应向量表示为 η = Lξ，ξ ~ N(0, I_d)，L 为 q×d 的载荷矩阵。
• 在 glmmTMB 中实现该模型，利用自动微分与拉普拉斯近似快速估计边际似然。
• 将降秩结构集成到 glmmTMB 现有接口中，支持与标准混合模型语法无缝对接，并兼容各类指数族分布。
• 应用优化策略，如使用多个初始值及信息准则（如 AIC）选择最优秩 d。
• 通过设计允许奇异的方差-协方差矩阵，避免在 q 较大时因正定性估计导致的收敛问题。

Figure 1: Boxplot of fish abundance ( $\log(y+1)$ scale) for each species at three zones, windfarm (WF, green), north (N, orange), and south (S, lilac), before (2003) and after (2010) construction of the offshore wind farm.

实验结果

研究问题

• RQ1 降秩因子分析结构能否有效集成到 glmmTMB 中，以估计高维多变量随机效应？
• RQ2 与非结构化协方差矩阵相比，降秩方法在大 q 情况下如何提升估计的稳定性和计算可行性？
• RQ3 随着潜在变量空间秩 d 的变化，固定效应估计值与推断结果会如何改变？
• RQ4 该方法能否应用于多水平或重复测量等复杂研究设计，且响应变量维度较高？
• RQ5 在真实维度未知的情况下，实践中选择最优秩 d 的有效策略有哪些？

主要发现

• glmmTMB 中的降秩方法使得对维度达数百甚至数千的多变量随机效应进行估计成为可能，而这些在传统软件包（如 lme4 或未使用秩约简的 glmmTMB）中曾不可行。
• 在九种鱼类丰度数据集中，非结构化模型无法收敛，但使用 d=2 的降秩模型成功估计了各物种种群间的相关性。
• 在包含 15 个结果变量的 PIRLS 教育研究中，降秩模型提供了稳定估计与稳健的固定效应推断，结果对 d 的适度变化不敏感。
• 该方法通过设计允许奇异的方差-协方差矩阵，避免了在 q 较大时正定性估计中常见的收敛警告。
• 信息准则与可视化工具（如双标图）在选择最优秩 d 时表现有效，解释上的显著变化主要出现在低秩情况（如 d < 2）。
• 该方法保持了与 glmmTMB 现有接口的兼容性，使多水平、重复测量及复杂抽样设计的应用成为可能，而这些设计此前在专用 GLVM 软件包中难以支持。

Figure 2: Conditional estimates (95% confidence interval) of the Zone by Year interaction terms for species from the diagonal random effect. The contrast between a zone (North, or South), and the Wind Farm zone in 2010 is shown.