[论文解读] Optimal estimation of Gaussian mixtures via denoised method of moments

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|Jul 19, 2018

Statistical Distribution Estimation and Applications参考文献 76被引用 13

一句话总结

本文提出了一种去噪矩方法，用于最优估计具有共同方差的k分量高斯位置混合模型，通过半定规划（SDP）将矩估计投影到截断矩空间，确保解的存在性与唯一性。该方法通过在Wasserstein距离下建立新颖的矩比较定理，实现了自适应极小极大最优率和Oracle不等式，为广义矩方法提供了无需凸性假设的可证明保证。

ABSTRACT

The Method of Moments [Pea94] is one of the most widely used methods in statistics for parameter estimation, by means of solving the system of equations that match the population and estimated moments. However, in practice and especially for the important case of mixture models, one frequently needs to contend with the difficulties of non-existence or non-uniqueness of statistically meaningful solutions, as well as the high computational cost of solving large polynomial systems. Moreover, theoretical analysis of the method of moments are mainly confined to asymptotic normality style of results established under strong assumptions. This paper considers estimating a $k$-component Gaussian location mixture with a common (possibly unknown) variance parameter. To overcome the aforementioned theoretic and algorithmic hurdles, a crucial step is to denoise the moment estimates by projecting to the truncated moment space (via semidefinite programming) before solving the method of moments equations. Not only does this regularization ensures existence and uniqueness of solutions, it also yields fast solvers by means of Gauss quadrature. Furthermore, by proving new moment comparison theorems in the Wasserstein distance via polynomial interpolation and majorization techniques, we establish the statistical guarantees and adaptive optimality of the proposed procedure, as well as oracle inequality in misspecified models. These results can also be viewed as provable algorithms for Generalized Method of Moments [Han82] which involves non-convex optimization and lacks theoretical guarantees.

研究动机与目标

• 解决经典矩方法在高斯混合模型中缺乏理论保证和数值不稳定的缺陷。
• 克服有限样本下基于矩估计的有限混合模型中解的存在性与唯一性问题。
• 为高斯位置尺度混合模型中的参数估计开发一种计算高效且统计最优的程序。
• 通过Wasserstein距离比较，建立在模型误设情况下的自适应极小极大最优性与Oracle不等式。
• 为广义矩方法提供一种可证明高效的算法，避免非凸优化的陷阱。

提出的方法

• 通过半定规划（SDP）将样本矩去噪，投影到截断矩空间，确保可行性与稳定性。
• 在去噪后，利用高斯求积法高效求解正则化的矩方法方程。
• 通过多项式插值与极大化技术，在Wasserstein距离下建立矩比较定理。
• 证明去噪矩估计可导出在最小假设下的一致且最优的参数估计量。
• 应用半定规划刻画矩空间，并对矩矩阵施加正定性约束。
• 通过分析去噪矩系统中偏差与方差的权衡，推导出自适应率。

实验结果

研究问题

• RQ1 能否对高斯混合模型的矩方法进行正则化，以在有限样本中确保解的存在性与唯一性？
• RQ2 估计具有未知均值和共同方差的k分量高斯混合模型的最优收敛速率是多少？
• RQ3 如何使基于矩的估计在不同光滑性类的混合分布下实现自适应极小极大最优性？
• RQ4 Wasserstein距离能否用于推导有限混合模型的非渐近矩比较定理？
• RQ5 去噪矩方法是否能提供与MLE可比的可证明统计保证，而无需依赖分离条件？

主要发现

• 去噪矩方法在估计具有共同方差的k分量高斯混合模型时，实现了自适应极小极大最优率，与最大似然估计器的最优率一致。
• 所提出的方法通过SDP将矩估计投影到截断矩空间，确保了解的存在性与唯一性。
• 该方法通过高斯求积法实现快速求解器，即使在高阶矩下也能实现高效计算。
• 利用多项式插值与极大化技术，在Wasserstein距离下建立了新的矩比较定理，支持非渐近分析。
• 为误设模型推导出Oracle不等式，表明估计量能自适应于真实模型的复杂度。
• 该方法首次为非凸设置下的广义矩方法提供了可证明高效且统计最优的算法。