[论文解读] Restricted maximum likelihood estimation in generalized linear mixed models

Luca Maestrini, Francis K. C. Hui+1 more|arXiv (Cornell University)|Feb 20, 2024

Advanced Statistical Methods and Models被引用 5

一句话总结

对广义线性混合模型（GLMM）的REML估计方法的综合评述，将四种主要方法进行分类，并在仿真中比较它们的有限样本偏差。常见的REML目标在不同方法之间通常收敛到相似的估计。

ABSTRACT

Restricted maximum likelihood (REML) estimation is a widely accepted and frequently used method for fitting linear mixed models, with its principal advantage being that it produces less biased estimates of the variance components. However, the concept of REML does not immediately generalize to the setting of non-normally distributed responses, and it is not always clear the extent to which, either asymptotically or in finite samples, such generalizations reduce the bias of variance component estimates compared to standard unrestricted maximum likelihood estimation. In this article, we review various attempts that have been made over the past four decades to extend REML estimation in generalized linear mixed models. We establish four major classes of approaches, namely approximate linearization, integrated likelihood, modified profile likelihoods, and direct bias correction of the score function, and show that while these four classes may have differing motivations and derivations, they often arrive at a similar if not the same REML estimate. We compare the finite sample performance of these four classes, along with methods for REML estimation in hierarchical generalized linear models, through a numerical study involving binary and count data, with results demonstrating that all approaches perform similarly well reducing the finite sample size bias of variance components. Overall, we believe REML estimation should more widely adopted by practitioners using generalized linear mixed models, and that the exact choice of which REML approach to use should, at this point in time, be driven by software availability and ease of implementation.

研究动机与目标

• 将REML在GLMMs中作为方差分量偏差减小工具的动机，超越线性混合模型。
• 概述适用于GLMMs的四大REML方法类别：近似线性化、积分似然、修正的轮廓似然，以及对得分函数的直接偏差校正。
• 澄清这些方法之间的关系，以及在实际中常会产生相似的REML估计。
• 就在R中的一个小型数值研究中提供实际实现和比较的指南。

提出的方法

• 将GLMMs的REML方法分为四类：近似线性化、积分似然、修正的轮廓似然，以及轮廓得分函数的直接偏差校正。
• 描述每一类中的代表性方法（如 Schall 1991；Wolfinger and O’Connell 1993；Breslow and Clayton 1993；Verbyla 1990 的推导）及其与线性混合模型结果的联系。
• 表明这些不同的推导在GLMMs中往往导向相同的REML目标函数。
• 给出一个小型仿真研究，在二元和计数数据上比较方法，以评估有限样本偏差。
• 解释向量化的GLMM公式及REML调整项在边际似然中的作用。
• 讨论在R中实现REML的实际注意事项。

实验结果

研究问题

• RQ1 对于具有非正态响应和非恒等链接的GLMM，如何定义和估计REML？
• RQ2 在实践中，四大REML类别（近似线性化、积分似然、修正的轮廓似然，以及直接得分偏差校正）是否会给出相似的REML估计？
• RQ3 当前REML方法在GLMM中对方差分量的有限样本性能如何？
• RQ4 不同的REML推导如何彼此相关，以及与标准LMM的REML有什么联系？
• RQ5 对在如R这样的软件中实现GLMM REML的从业者可以提供哪些指导？

主要发现

• GLMMs存在四类REML方法：近似线性化、积分似然、修改的轮廓似然，以及对得分函数的直接偏差校正。
• 尽管动机和推导不同，这些类别往往产生相似的REML估计。
• 对二元和计数数据的有限样本仿真显示，大多数REML方法在降低方差分量偏差方面表现相似。
• GLMM中的REML估计量在渐进意义上近似正态，其协方差由REML函数的信息矩阵给出。
• 一个统一的观点出现：在GLMMs下，各种REML公式收敛到相同的目标函数。
• 该综述强调在方差分量偏差减小方面的持续研究以及方法之间的实际等价性。