[论文解读] On the "Poisson Trick" and its Extensions for Fitting Multinomial Regression Models

Jarod Y. L. Lee, Peter J. Green+1 more|arXiv (Cornell University)|Jul 26, 2017

Statistical Methods and Bayesian Inference参考文献 15被引用 4

一句话总结

本文提出了一种基于扩展伽马-泊松模型的闭式似然方法，用于拟合多项式混合模型，通过ECM算法实现精确推断。该方法利用标准广义线性模型（GLM）函数，避免了以往'泊松技巧'方法的计算低效问题，为具有个体水平协变量的相关分类响应提供了稳定且可扩展的估计方法。

ABSTRACT

This article is concerned with the fitting of multinomial regression models using the so-called "Poisson Trick". The work is motivated by Chen & Kuo (2001) and Malchow-Møller & Svarer (2003) which have been criticized for being computationally inefficient and sometimes producing nonsense results. We first discuss the case of independent data and offer a parsimonious fitting strategy when all covariates are categorical. We then propose a new approach for modelling correlated responses based on an extension of the Gamma-Poisson model, where the likelihood can be expressed in closed-form. The parameters are estimated via an Expectation/Conditional Maximization (ECM) algorithm, which can be implemented using functions for fitting generalized linear models readily available in standard statistical software packages. Compared to existing methods, our approach avoids the need to approximate the intractable integrals and thus the inference is exact with respect to the approximating Gamma-Poisson model. The proposed method is illustrated via a reanalysis of the yogurt data discussed by Chen & Kuo (2001).

研究动机与目标

• 解决现有'泊松技巧'方法在多项式混合模型中计算效率低下和不稳定的缺陷。
• 为具有随机效应的多项式响应开发一种闭式似然方法，避免难以处理的积分问题。
• 通过标准GLM软件在伽马-泊松近似下实现精确推断。
• 为具有个体水平协变量的相关分类数据提供可扩展且稳定的估计框架。
• 对酸奶品牌选择数据集进行重新分析，实现更高的计算性能和可靠性。

提出的方法

• 提出将伽马-泊松模型扩展，以在闭式下近似多项式似然。
• 使用期望/条件最大化（ECM）算法估计参数，其中E步计算潜在变量的条件期望。
• 通过从观测计数和精度参数推导出的伽马分布潜在变量实现E步。
• 通过标准广义线性模型函数在CM步中最大化Q函数，以估计回归系数。
• 通过在对数尺度上处理偶然参数，利用迭代ECM更新估计随机效应。
• 利用现有GLM软件实现稳定且高维的参数估计，尤其适用于复杂的协变量结构。

实验结果

研究问题

• RQ1 在伽马-泊松近似下，能否为多项式混合模型推导出闭式似然？
• RQ2 所提出的基于ECM的估计方法是否能避免以往'泊松技巧'方法的计算低效问题？
• RQ3 该方法能否在不进行高维积分数值近似的情况下，产生可靠且精确的推断？
• RQ4 该方法在现实世界的相关分类数据（如品牌选择行为）上的表现如何？
• RQ5 标准GLM函数能否在CM步中有效重用，以实现可扩展的估计？

主要发现

• 所提出的方法在伽马-泊松近似下实现了精确推断，无需数值积分或模拟。
• ECM算法通过利用现有GLM函数，实现了稳定且可扩展的估计，与以往方法相比显著减少了计算时间。
• 该方法避免了早期'泊松技巧'实现中因似然难以处理而产生的'无意义结果'和不稳定性。
• 在酸奶数据的重新分析中，该方法提供了可靠的估计，收敛速度更快，数值稳定性更好。
• 即使在中等至大规模数据集上，该方法也具有计算可行性，执行时间不再像以往实现那样长达数月。
• 闭式似然与高效的ECM算法使该方法适用于具有复杂协变量结构的大规模应用。