[论文解读] Semiparametric Mixture Regression with Unspecified Error Distributions

Yanyuan Ma, Shaoli Wang+2 more|arXiv (Cornell University)|Nov 2, 2018

Bayesian Methods and Mixture Models参考文献 15被引用 4

一句话总结

该论文提出了一种半参数混合线性回归模型，通过允许未指定的分量误差密度来放宽误差分布的正态性假设。基于核密度估计的EM算法实现了一致估计和渐近正态性，在非正态误差下显著优于传统最大似然估计（MLE），同时在正态误差下保持了相当的性能，这一结果在模拟研究和一个真实的马传染性贫血病毒载量数据集中得到验证。

ABSTRACT

In fitting a mixture of linear regression models, normal assumption is traditionally used to model the error and then regression parameters are estimated by the maximum likelihood estimators (MLE). This procedure is not valid if the normal assumption is violated. To relax the normal assumption on the error distribution hence reduce the modeling bias, we propose semiparametric mixture of linear regression models with unspecified error distributions. We establish a more general identifiability result under weaker conditions than existing results, construct a class of new estimators, and establish their asymptotic properties. These asymptotic results also apply to many existing semiparametric mixture regression estimators whose asymptotic properties have remained unknown due to the inherent difficulties in obtaining them. Using simulation studies, we demonstrate the superiority of the proposed estimators over the MLE when the normal error assumption is violated and the comparability when the error is normal. Analysis of a newly collected Equine Infectious Anemia Virus data in 2017 is employed to illustrate the usefulness of the new estimator.

研究动机与目标

• 解决传统混合回归模型中假设误差为正态分布所引入的建模偏差问题。
• 开发一种半参数估计方法，允许误差密度未指定，同时保持可识别性与渐近性质。
• 在弱于现有方法的条件下，建立所提估计量的一致性与渐近正态性。
• 在误差偏离正态性时，证明其在有限样本中具有更高的分类准确率与稳健性。
• 为混合回归设置提供一种理论基础坚实、灵活的参数MLE替代方法。

提出的方法

• 提出一种半参数混合回归模型，其中分量误差密度未指定，用一般密度函数g（均值为零、方差为1）替代正态密度。
• 引入一种半参数EM算法，交替估计回归参数θ与通过核密度估计非参数化估计误差密度g。
• 使用核密度估计器对误差密度进行估计，带宽通过交叉验证选择，以确保平滑性与一致性。
• 在一般条件下（包括非相同的尺度参数τj和任意的分量密度g_j）建立模型的可识别性。
• 推导所提估计量的渐近分布，证明在正则条件下具有一致性和渐近正态性。
• 使用留一法交叉验证对真实数据应用该方法，以评估分类性能。

实验结果

研究问题

• RQ1 在未指定误差密度的半参数混合回归模型中，是否可以在不假设正态性的情况下实现一致估计？
• RQ2 在一般半参数混合回归框架中，模型可识别性的最小正则条件是什么？
• RQ3 当误差分布为非正态时，所提估计量与MLE相比表现如何？
• RQ4 与传统MLE相比，该方法在有限样本中是否提高了分类准确率？
• RQ5 所提估计量的渐近理论是否可应用于此前其渐近性质未知的许多现有半参数混合回归估计量？

主要发现

• 在EIAV数据集中，所提KDEEM估计量实现了100%的正确分类率（CCP），而MLEEM为93.33%，表明其分类性能更优。
• 在非正态误差分布的模拟研究中，所提估计量显著优于MLE，有效降低了建模偏差并提高了估计精度。
• 当误差实际为正态分布时，该方法与MLE保持相当的性能，表明其在不同分布假设下均具有稳健性。
• 理论结果表明，所提估计量在弱于以往可识别性结果的条件下仍具有一致性与渐近正态性。
• 该渐近理论可适用于许多此前其渐近性质未被证明的现有半参数混合回归估计量。
• 基于核的误差密度估计方法能够在不依赖参数假设的前提下，灵活建模复杂的误差结构。