[论文解读] Singularity structures and impacts on parameter estimation in finite mixtures of distributions

Nhat Ho, XuanLong Nguyen|arXiv (Cornell University)|Sep 9, 2016

Bayesian Methods and Mixture Models参考文献 39被引用 10

一句话总结

本文提出一个通用框架，用于识别有限分布混合模型中的奇点结构，将其与参数估计的收敛速率及极小化极大下界联系起来。研究证明，偏正态混合模型中的奇点会导致复杂的渐近行为，其收敛速率由多项式方程组的可解性决定，并证明最大似然估计量仅在非奇点条件下才能实现根-$n$收敛速率。

ABSTRACT

Singularities of a statistical model are the elements of the model's parameter space which make the corresponding Fisher information matrix degenerate. These are the points for which estimation techniques such as the maximum likelihood estimator and standard Bayesian procedures do not admit the root-$n$ parametric rate of convergence. We propose a general framework for the identification of singularity structures of the parameter space of finite mixtures, and study the impacts of the singularity structures on minimax lower bounds and rates of convergence for the maximum likelihood estimator over a compact parameter space. Our study makes explicit the deep links between model singularities, parameter estimation convergence rates and minimax lower bounds, and the algebraic geometry of the parameter space for mixtures of continuous distributions. The theory is applied to establish concrete convergence rates of parameter estimation for finite mixture of skew-normal distributions. This rich and increasingly popular mixture model is shown to exhibit a remarkably complex range of asymptotic behaviors which have not been hitherto reported in the literature.

研究动机与目标

• 识别并表征连续分布有限混合模型中的奇点结构。
• 研究这些奇点如何影响最大似然估计量（MLE）的收敛速率与极小化极大下界。
• 建立参数空间的代数几何性质与奇异模型中统计估计行为之间的联系。
• 分析有限偏正态分布混合模型中参数估计的渐近行为，该模型具有复杂的奇点结构。
• 通过提供一个适用于更广泛情形的通用框架，扩展现有关于过拟合混合模型的理论。

提出的方法

• 将有限混合模型中的奇点形式化为费雪信息矩阵的退化，定义参数空间中的奇点。
• 应用代数几何工具，特别是半代数集与多项式方程组，以表征奇点结构。
• 使用贪心提取技术，推导出基于矩与权重约束的混合模型为$k$-奇点的条件。
• 通过极小化极大下界分析收敛速率，并将其与由矩条件导出的多项式方程组的可解性联系起来。
• 采用Wasserstein距离度量估计误差，并在紧致参数空间假设下建立收敛速率。
• 通过分析方程组$\sum p_i^0 c_i = 0$，$\sum p_i^0 m_i^0 c_i^2 = 0$，将该框架应用于偏正态混合模型，非平凡解的存在表明奇点。

实验结果

研究问题

• RQ1 有限混合模型中的奇点结构如何影响参数估计量的收敛速率？
• RQ2 多项式方程组的可解性与过拟合混合模型中极小化极大下界之间有何关系？
• RQ3 参数空间的代数几何时何性质如何影响奇异模型中的统计估计行为？
• RQ4 有限偏正态分布混合模型中MLE的确切收敛速率是多少？其如何依赖于奇点结构？
• RQ5 能否开发一个通用框架，以对奇点类型进行分类，并预测在多样化有限混合模型中的估计行为？

主要发现

• 本文证明，有限偏正态分布混合模型的最大似然估计量仅在真实参数位于非奇点区域时才能实现根-$n$收敛速率。
• 对于奇点混合模型，收敛速率下降，且由由矩条件导出的多项式方程组的可解性所决定。
• 研究表明，过拟合混合模型中参数估计的极小化极大下界取决于参数空间的代数结构，特别是矩方程存在非平凡解的情况。
• 证明当$\sum p_i^0 \prod_{j \neq i} m_j^0 < 0$时，若多项式方程组存在非平凡解，则混合模型可为2-奇点且相对于模型类$\mathcal{E}_{k_0}$为(2,2,2)-奇点。
• 该框架表明，即使在可识别模型如位置-尺度高斯混合模型与伽玛混合模型中，也可能因奇点而表现出非根-$n$收敛速率。
• 本文结论指出，给定模型的估计速率由奇点类型决定，其中$\ell(G_0|\mathcal{E}_{k_0}) = 1$或$2$表示不同的渐近行为，该结论经定理11.3与案例分析验证。