[论文解读] Strong consistency of MLE for finite mixtures of location-scale distributions when the ratios of the scale parameters are exponentially small

Kentaro Tanaka|arXiv (Cornell University)|Sep 25, 2006

Bayesian Methods and Mixture Models参考文献 11被引用 3

一句话总结

本文在尺度参数比值下限为 $\exp(-n^d)$ 的条件下，建立了有限混合位置尺度分布族的最大似然估计量（MLE）的强一致性，其中 $0 < d < 1$ 且 $n$ 为样本量。通过将尺度参数比值的衰减速率限制在指数中的多项式衰减，作者解决了Hathaway（1985）提出的一个开放问题，表明MLE即使在尺度比值的下界随样本量趋于零时仍保持一致。

ABSTRACT

In finite mixtures of location-scale distributions, if there is no constraint on the parameters then the maximum likelihood estimate does not exist. But when the ratios of the scale parameters are restricted appropriately, the maximum likelihood estimate exists. We prove that the maximum likelihood estimator (MLE) is strongly consistent, if the ratios of the scale parameters are restricted from below by $\exp(-n^{d}), 0 &lt; d &lt; 1 $, where $n$ is the sample size.

研究动机与目标

• 解决Hathaway（1985）提出的开放问题：当尺度参数比值的下界随样本量趋于零时，MLE是否仍保持强一致性。
• 建立在位置尺度分布有限混合模型中，MLE存在且一致的条件，即使尺度参数未远离零。
• 确定尺度参数比值可衰减的最慢速率，同时仍能保持MLE的强一致性。
• 将先前在尺度参数约束下MLE一致性的结果，推广至更一般且渐近紧致的框架。

提出的方法

• 作者定义了一个受限参数空间 $\Theta_{b_n}$，其中任意两个尺度参数的最小比值被下界 $b_n = \exp(-n^d)$ 所限制，且 $0 < d < 1$。
• 他们使用Borel-Cantelli引理论证，表明在似然函数变得无界的区域中观测到大量数据点的概率趋于零。
• 证明过程通过在真实参数附近的区间内统计数据点数量，对对数似然函数进行有界处理，并利用集中不等式控制尾部行为。
• 推导出关键不等式，以控制在似然可能发散的区域中数据点的期望数量，同时利用尺度比值的约束条件。
• 分析依赖于以下事实：当尺度参数过小时，除非数据点恰好位于位置参数处，否则此类分量的似然贡献可忽略不计，而后者的概率趋于零。
• 作者应用一系列概率界和渐近分析，证明在备择模型下，归一化的对数似然函数几乎必然收敛至负无穷，从而确保一致性。

实验结果

研究问题

• RQ1 当尺度参数比值的下界随样本量趋于零时，有限混合位置尺度分布族的最大似然估计量是否仍保持强一致性？
• RQ2 尺度参数比值可衰减的最慢速率为何，仍能保持MLE的强一致性？
• RQ3 对于 $0 < d < 1$，速率 $\exp(-n^d)$ 是否在确保有限混合位置尺度族MLE一致性方面渐近最优？
• RQ4 当尺度比值约束放宽至 $\exp(-n^r)$（$r > 1$）时，MLE是否仍保持一致，接近一致性失效的边界？

主要发现

• 当尺度参数比值的下界为 $\exp(-n^d)$（对任意 $0 < d < 1$）时，MLE具有强一致性。
• 速率 $\exp(-n^d)$ 几乎最优，因为论文表明当 $r > 1$ 时，$\exp(-n^r)$ 的情形下一致性不成立。
• 证明表明，在任意备择模型下，MLE的归一化对数似然函数几乎必然收敛至负无穷，从而确保一致性。
• 该结果解决了Hathaway（1985）提出的开放问题，确认即使随着样本量增加，尺度比值约束变得任意微弱，MLE仍保持一致。
• 在较弱的正则性条件下分析依然成立，包括真实密度属于 $M$-分量混合族但不属于任何 $M-1$-分量族。
• 该方法表明，即使尺度参数在指数中呈指数衰减，只要在给定约束下，似然函数仍保持足够良好，以确保MLE的一致性。