[论文解读] The maximum likelihood degree of mixtures of independence models

Jose Israel Rodriguez, Botong Wang|arXiv (Cornell University)|May 25, 2015

Bayesian Modeling and Causal Inference参考文献 21被引用 5

一句话总结

本论文解决了Hauenstein、Rodriguez与Sturmfels关于混合独立性模型最大似然度（ML degree）的开放猜想——具体而言，针对秩至多为2的$m \times n$联合概率矩阵。作者基于欧拉示性数与分层代数簇的拓扑方法，推导出$3 \times n$模型的ML degree的闭式公式，并提出一般$m \times n$情形的递归算法，显式计算表明$(20,20)$模型的ML degree超过$1.96 \times 10^{40}$。

ABSTRACT

The maximum likelihood degree (ML degree) measures the algebraic complexity of a fundamental optimization problem in statistics: maximum likelihood estimation. In this problem, one maximizes the likelihood function over a statistical model. The ML degree of a model is an upper bound to the number of local extrema of the likelihood function and can be expressed as a weighted sum of Euler characteristics. The independence model (i.e. rank one matrices over the probability simplex) is well known to have an ML degree of one, meaning their is a unique local maxima of the likelihood function. However, for mixtures of independence models (i.e. rank two matrices over the probability simplex), it was an open question as to how the ML degree behaved. In this paper, we use Euler characteristics to prove an outstanding conjecture by Hauenstein, the first author, and Sturmfels; we give recursions and closed form expressions for the ML degree of mixtures of independence models.

研究动机与目标

• 解决文献[13]中Conjecture 4.1关于混合独立性模型最大似然度（ML degree）的问题。
• 基于欧拉示性数构建拓扑框架，以计算奇异代数统计模型的ML degree。
• 为$m \times n$混合独立性模型提供ML degree的闭式与递归表达式，尤其针对$3 \times n$与一般$m \times n$情形。
• 将最大似然估计中代数复杂性的理解从光滑模型扩展至奇异、秩约束的代数簇。
• 探讨通过拓扑与几何形变，将ML degree的交错和公式转化为正和表达式的可行性。

提出的方法

• 作者利用混合模型的Zariski闭包定义秩至多为2的复代数簇。
• 基于秩与参数化结构对簇进行分层，并分析各层的拓扑性质。
• 通过纤维丛结构与一般位置超平面补集的已知结果，计算开子簇的欧拉示性数。
• 通过将ML degree与各层欧拉示性数的加权和关联，特别是聚焦于$W_2^{(k)}$层，推导出递归公式。
• 利用最大似然对偶性与形变技术，关联不同余维数的模型，提出构建正和公式的路径。
• 结合计算代数工具与拓扑论证，计算大型模型（如$20 \times 20$）的ML degree。

实验结果

研究问题

• RQ1 对于秩至多为2的$m \times n$联合概率矩阵，两个独立性模型混合的ML degree是多少？
• RQ2 能否为$3 \times n$混合独立性模型的ML degree推导出闭式表达式？
• RQ3 如何利用拓扑不变量递归计算一般$m \times n$混合模型的ML degree？
• RQ4 是否存在基于欧拉示性数的拓扑证明，以描述秩约束模型的最大似然对偶性？
• RQ5 能否通过几何或拓扑形变，将ML degree的交错和公式转化为正和公式？

主要发现

• 对于$3 \times n$混合独立性模型，ML degree由闭式公式$\text{MLdegree}(\mathcal{M}_{3n}) = 2^{n+1} - 6$给出（$n \geq 3$），证实了长期存在的猜想。
• 对于$(20,20)$情形，ML degree经递归方法计算为$19,674,198,689,452,133,729,973,092,792,823,813,947,695$，约为$1.967 \times 10^{40}$。
• 建立了$m \times n$混合模型ML degree的递归公式，使任意$m$与$n$的计算成为可能。
• 证明了层$W_2^{(m-1)}$的欧拉示性数为$(m-1) \cdot m!$，该值直接贡献于ML degree的计算。
• $m \times n$模型的ML degree被表达为各层欧拉示性数的加权和，系数源自组合结构。
• 结果表明，欧拉示性数等拓扑不变量可有效捕捉奇异统计模型的代数复杂性。