[论文解读] Weak separation in mixture models and implications for principal stratification

Avi Feller, Evan Greif+3 more|arXiv (Cornell University)|Feb 21, 2016

Bayesian Methods and Mixture Models被引用 9

一句话总结

本文研究了在弱分离的两分量高斯有限混合模型中最大似然估计量（MLE）的病态行为，表明当分量均值接近但不相等时，收敛速度可能慢至 $O(n^{-1/6})$ 或 $O(n^{-1/8})$。作者证明了MLE在有限样本中可能错误地表明均值相等，从而导致主分层模型中推断不可靠，并通过诊断方法和对就业培训项目（JOBS II 和 Job Corps）的重新分析，说明了这些问题。

ABSTRACT

Principal stratification is a widely used framework for addressing post-randomization complications. After using principal stratification to define causal effects of interest, researchers are increasingly turning to finite mixture models to estimate these quantities. Unfortunately, standard estimators of mixture parameters, like the MLE, are known to exhibit pathological behavior. We study this behavior in a simple but fundamental example, a two-component Gaussian mixture model in which only the component means and variances are unknown, and focus on the setting in which the components are weakly separated. In this case, we show that the asymptotic convergence rate of the MLE is quite poor, such as $O(n^{-1/6})$ or even $O(n^{-1/8})$. We then demonstrate via theoretical arguments as well as extensive simulations that, in finite samples, the MLE behaves like a threshold estimator, in the sense that the MLE can give strong evidence that the means are equal when the truth is otherwise. We also explore the behavior of the MLE when the MLE is non-zero, showing that it is difficult to estimate both the sign and magnitude of the means in this case. We provide diagnostics for all of these pathologies and apply these ideas to re-analyzing two randomized evaluations of job training programs, JOBS II and Job Corps. Our results suggest that the corresponding maximum likelihood estimates should be interpreted with caution in these cases.

研究动机与目标

• 理解在弱分离的有限混合模型中MLE的渐近行为和有限样本行为，特别是当分量均值接近但不相等时。
• 研究此类病态行为如何影响主分层框架中因果效应估计的影响，特别是在教育和社会科学应用中。
• 开发用于在实践中检测MLE病态行为的诊断方法，特别是虚假的均值相等证据。
• 重新分析真实世界的随机对照试验（JOBS II 和 Job Corps），以评估在弱分离条件下基于MLE的估计的可靠性。

提出的方法

• 分析一个已知混合比例的两分量高斯位置尺度混合模型，重点关注MLE对分量均值和方差的估计。
• 推导在弱分离条件下的渐近收敛速度，表明当真实均值差异较小时，收敛速度可能慢至 $O(n^{-1/6})$ 或 $O(n^{-1/8})$。
• 使用理论论证和模拟方法表明，MLE的行为类似于阈值估计量，即使在均值不相等时，也会给出均值相等的强统计证据。
• 应用类似Le Cam的极小极大下界论证，建立在对称模型下MLE的非多项式收敛速度。
• 基于MLE在有限样本中的行为，特别是分量均值符号和大小的估计，开发诊断方法。
• 使用所提出的诊断方法重新分析两个就业培训项目评估（JOBS II 和 Job Corps），以评估基于MLE的因果效应估计的可靠性。

实验结果

研究问题

• RQ1 当分量均值弱分离时，两分量高斯混合模型中MLE对均值差异的渐近收敛速度是多少？
• RQ2 当真实均值差异较小但非零时，MLE在有限样本中的行为如何？
• RQ3 MLE在实际均值不相等时，能在多大程度上产生均值相等的强证据？
• RQ4 这些病态行为如何影响基于有限混合模型的主分层模型中因果效应估计的可靠性？
• RQ5 在实际应用中，可使用哪些诊断方法来检测此类MLE病态行为？

主要发现

• 在弱分离的两分量高斯混合模型中，MLE对均值差异的收敛速度可能慢至 $O(n^{-1/6})$ 或 $O(n^{-1/8})$，远低于标准的 $O(n^{-1/2})$ 速度。
• 在有限样本中，MLE可能给出强有力的统计证据，表明分量均值相等，即使它们相差0.5个标准差。
• MLE表现出类似阈值的行为，当分量弱分离时，对均值差异符号和大小的估计均变得极不稳定。
• MLE在估计均值差异符号方面的表现尤其差，导致在主分层设定中推断不可靠。
• 模拟和对JOBS II与Job Corps的重新分析表明，由于这些病态行为，基于MLE的因果效应估计应谨慎解读。
• 所提出的诊断方法能有效检测这些病态行为，突出显示MLE结果在实践中可能具有误导性的案例。