[论文解读] The Algebraic Complexity of Maximum Likelihood Estimation for Bivariate Missing Data

Serkan Hoşten, Seth Sullivant|ArXiv.org|Sep 6, 2007

Random Matrices and Applications参考文献 2被引用 11

一句话总结

本文利用计算代数几何研究了在缺失 at random (MAR) 假设下，双变量缺失数据的最大似然估计（MLE）的代数复杂度。对于双变量正态数据，结果表明得分方程有九个复数解，在正确 MAR 假设下仅有一个实数解且具有统计显著性；对于多项分布数据，所有解均为实数，且解的数量随状态数呈指数增长，尽管仅有一个解具有统计意义。

ABSTRACT

We study the problem of maximum likelihood estimation for general patterns of bivariate missing data for normal and multinomial random variables, under the assumption that the data is missing at random (MAR). For normal data, the score equations have nine complex solutions, at least one of which is real and statistically significant. Our computations suggest that the number of real solutions is related to whether or not the MAR assumption is satisfied. In the multinomial case, all solutions to the score equations are real and the number of real solutions grows exponentially in the number of states of the underlying random variables, though there is always precisely one statistically significant local maxima.

研究动机与目标

• 分析在 MAR 假设下，双变量缺失数据模型中最大似然估计（MLE）的代数结构。
• 确定在缺失数据条件下，正态分布与多项分布的得分方程的复数解与实数解的数量。
• 研究模型误设或错误缺失数据机制如何影响似然函数中局部极大值的数量。
• 在双变量多项分布缺失数据设定中，建立最大似然度（ML-degree）的组合公式。
• 通过代数几何技术，将似然方程的几何结构与 0/1 矩阵及 lonesum 矩阵的结构联系起来。

提出的方法

• 利用计算代数几何分析双变量缺失数据似然函数的临界方程（得分方程）。
• 将最大似然度（ML-degree）定义为得分方程的复数解数量，该值对通用数据保持不变。
• 通过逆协方差矩阵（精度矩阵）变换正态模型，以简化对数似然函数与得分方程。
• 对于多项分布情形，将问题建模为具有缺失条目的列联表，并对表格的支持集施加组合约束。
• 应用 lonesum 矩阵（即由行和与列和唯一确定的 0/1 矩阵）的结果，统计缺失数据模式的有效配置数量。
• 通过对可行参数解集应用容斥原理与有界性论证，推导出多项分布情形下的 ML-degree 公式。

实验结果

研究问题

• RQ1 在 MAR 假设下，双变量正态缺失数据模型的得分方程存在多少个复数解？
• RQ2 在双变量正态模型中，得分方程的实数解数量与 MAR 假设的有效性之间有何关系？
• RQ3 具有缺失数据的双变量多项分布模型的最大似然度（ML-degree）是多少？
• RQ4 在多项分布模型中，得分方程的实数解数量如何随状态数增长？
• RQ5 双变量多项分布缺失数据模型中 ML-degree 的组合结构是什么？

主要发现

• 在 MAR 假设下，双变量正态数据的得分方程恰好有九个复数解，其中至少有一个实数解且具有统计显著性。
• 当 MAR 假设成立且模型正确设定时，模拟结果显示存在唯一一个实数解，且为局部极大值。
• 在模型误设或错误缺失数据机制下，可能存在多个具有统计相关性的局部极大值，从而增加 EM 算法求解 MLE 的复杂度。
• 对于双变量多项分布缺失数据，得分方程的所有解均为实数，且实数解的数量随状态数呈指数增长。
• 多项分布情形下的 ML-degree 由一个组合公式给出，涉及负指数多贝努利数，该公式源自 lonesum 矩阵的计数。
• 多项分布情形下的 ML-degree 等于不包含特定 2×2 子矩阵（即对应于禁止子矩阵的排列模式）的 0/1 矩阵的数量，该数量通过在 lonesum 矩阵上应用容斥原理进行计数。