[论文解读] Verifying the existence of maximum likelihood estimates for generalized linear models

Sergio Correia, Paulo Guimarães+1 more|arXiv (Cornell University)|Mar 5, 2019

Global trade and economics参考文献 38被引用 39

一句话总结

本文在广义线性模型（GLMs）的广泛类别中刻画了何时最大似然（ML）估计可能不存在，包括泊松和伪 ML 变体，并提供实用的检测与纠正方法，特别是在具有固定效应的高维 setting。

ABSTRACT

A fundamental problem with nonlinear models is that maximum likelihood estimates are not guaranteed to exist. Though nonexistence is a well known problem in the binary response model literature, it presents significant challenges for other models and is not as well understood in more general settings. These challenges are only magnified for models that feature many fixed effects and other high-dimensional parameters. We address the current ambiguity surrounding this topic by studying the conditions that govern the existence of estimates for (pseudo-)maximum likelihood estimators used to estimate a wide class of generalized linear models (GLMs). We show that some, but not all, of these GLM estimators can still deliver consistent estimates of at least some of the linear parameters when these conditions fail to hold. We also demonstrate how to verify these conditions in models with high-dimensional parameters, such as panel data models with multiple levels of fixed effects.

研究动机与目标

• 澄清在 GLMs 中 ML 和 pseudo-ML 估计在二进制和非二进制结果下何时不存在的条件。
• 表明即使不存在发生，某些线性参数仍可得到一致估计。
• 开发在包含固定效应的高维模型中检测分离的实用方法。
• 提出在保持模型拟合和对具有内部解参数的推断有效性的前提下的纠正策略。

提出的方法

• 推导在具有满秩设计矩阵且每观测似然有界的 GLMs 中 ML 非存在（分离）的必要和充分条件。
• 将分析拓展至 gamma PML 和 inverse Gaussian PML，其中每观测似然可能无界。
• 引入一个简单且可扩展的算法，通过重复带等式约束的最小二乘回归来检测分离，利用高维线性回归技术。
• 给出重新参数化的论证，以在存在分离时仍建立内部参数的一致性和有效推断。
• 讨论分离的解释，并通过分离证明（certificate of separation）概念及重叠性考量来证明分离。

实验结果

研究问题

• RQ1 在广义线性模型的广泛设定中，在何种条件下 ML 或 pseudo-ML 估计器可能不存在？
• RQ2 即使发生分离，某些线性参数是否仍可一致估计，以及在哪些估计量下成立？
• RQ3 如何在具有多个固定效应的高维模型中高效检测分离？
• RQ4 哪些纠正策略在不丢弃信息参数的情况下保持模型拟合与有效推断？

主要发现

• 非存在性（分离）是一个潜在问题，适用于广义线性模型的广泛类别，不仅仅是 Poisson 模型。
• 即使发生分离，某些线性参数仍可得到一致估计并获得有效推断，但这并不扩展到所考虑的所有估计量。
• Gamma PML 和 inverse Gaussian PML 的非存在条件比 Poisson 与二元 logit/probit 更严格，分离时后果更为严重。
• 基于迭代带等式约束的最小二乘回归的简单、可扩展算法可检测分离，即使有大量固定效应，也避免了高成本的线性规划。
• 本文将非存在性与紧化的 GLM 框架联系起来，在该框架下条件均值可以趋近边界值，将问题转化为角点解。
• 作者引入了分离证明（certificate of separation）概念来识别分离方向，并讨论与 Poisson、PML 及分数数据模型相关的重叠性标准。