[论文解读] Sparse Estimation of Multivariate Poisson Log-Normal Models from Count Data

Hao Wu, Xinwei Deng+1 more|arXiv (Cornell University)|Feb 22, 2016

Statistical Methods and Bayesian Inference参考文献 30被引用 3

一句话总结

本文提出了一种用于多元计数数据的稀疏多元泊松对数正态回归模型，采用马尔可夫链蒙特卡洛期望最大化（MCEM）算法联合估计回归系数与潜变量的精度矩阵。该方法通过Lasso和图模型Lasso惩罚项利用响应变量之间的条件依赖关系，提升预测性能，在合成数据和真实流感样疾病数据上表现优越。

ABSTRACT

Modeling data with multivariate count responses is a challenging problem due to the discrete nature of the responses. Existing methods for univariate count responses cannot be easily extended to the multivariate case since the dependency among multiple responses needs to be properly accommodated. In this paper, we propose a multivariate Poisson log-normal regression model for multivariate data with count responses. By simultaneously estimating the regression coefficients and inverse covariance matrix over the latent variables with an efficient Monte Carlo EM algorithm, the proposed regression model takes advantages of association among multiple count responses to improve the model prediction performance. Simulation studies and applications to real world data are conducted to systematically evaluate the performance of the proposed method in comparison with conventional methods.

研究动机与目标

• 解决传统单变量或连续响应模型无法捕捉的、具有复杂依赖关系的多元计数响应建模挑战。
• 开发一种联合估计框架，同时学习回归系数与潜变量的精度矩阵，以提高预测准确性。
• 通过正则化方法在回归系数与精度矩阵中引入稀疏性，实现特征选择与依赖结构学习。
• 通过将逆协方差估计整合到多元泊松回归中，将监督协方差估计方法扩展至计数数据。
• 为高维多元计数数据提供一种计算上可行的方法，明确建模条件依赖关系。

提出的方法

• 提出一种多元泊松对数正态模型，其中对数率参数服从具有稀疏逆协方差矩阵的多元正态分布。
• 采用马尔可夫链蒙特卡洛期望最大化（MCEM）算法处理参数估计中的不可计算似然函数。
• 对回归系数矩阵施加Lasso惩罚，以实现稀疏性并跨多个响应进行特征选择。
• 在潜变量协方差结构上应用图模型Lasso，以估计稀疏逆协方差矩阵，捕捉响应之间的条件依赖关系。
• 通过迭代加权最小二乘法与坐标下降法，交替更新系数矩阵与逆协方差矩阵。
• 通过向量化与克罗内克积运算推导出系数矩阵更新的闭式解，实现高效计算。

实验结果

研究问题

• RQ1 与传统方法相比，结合稀疏回归与精度矩阵估计的联合多元泊松对数正态模型是否能显著提升多元计数数据的预测性能？
• RQ2 所提出的MCEM算法在高维计数数据设置下，对回归系数与逆协方差矩阵的估计是否高效且可靠？
• RQ3 在计数响应中引入条件依赖关系在多大程度上能提升模型准确性与特征选择能力？
• RQ4 该方法能否推广至现实世界中的多元计数数据，如疾病监测或交通事故计数？
• RQ5 当使用除Lasso外的其他正则化惩罚（如自适应Lasso或组Lasso）时，模型性能如何变化？

主要发现

• 在合成数据上，该方法显著优于传统的单变量泊松回归与多元正态回归，尤其在具有复杂依赖关系的高维设置下表现更优。
• 通过联合估计回归系数与逆协方差矩阵，模型实现了更高的预测准确性，能够捕捉响应之间的边际关联与条件关联。
• Lasso与图模型Lasso惩罚的使用有效实现了特征选择，并识别出相关预测变量与条件依赖关系。
• 在流感样疾病数据集上的实证结果表明，该模型能识别出有意义的稀疏模式，并准确预测各区域的多元计数趋势。
• MCEM算法收敛稳定且高效，即使在中等至大样本量与响应维度下，计算复杂度也保持可控。
• 该方法可扩展至其他正则化惩罚（如自适应Lasso、组Lasso或融合Lasso），在不同稀疏结构下均保持优异性能。