[论文解读] Non-Normal Mixtures of Experts

Faïcel Chamroukhi|arXiv (Cornell University)|Jun 22, 2015

Bayesian Methods and Mixture Models被引用 6

一句话总结

本文提出非正态混合专家（NNMoE）模型——偏正态混合专家（SNMoE）、t分布混合专家（TMoE）和偏t分布混合专家（STMoE），以解决正态混合专家（NMoE）在建模偏斜、重尾或异常值敏感的回归与聚类数据时的局限性。这些模型采用EM/ECM算法进行参数估计，在模拟数据和真实世界数据（包括音调感知与气候温度异常）上均表现出更强的鲁棒性与更高的准确性。

ABSTRACT

Mixture of Experts (MoE) is a popular framework for modeling heterogeneity in data for regression, classification and clustering. For continuous data which we consider here in the context of regression and cluster analysis, MoE usually use normal experts, that is, expert components following the Gaussian distribution. However, for a set of data containing a group or groups of observations with asymmetric behavior, heavy tails or atypical observations, the use of normal experts may be unsuitable and can unduly affect the fit of the MoE model. In this paper, we introduce new non-normal mixture of experts (NNMoE) which can deal with these issues regarding possibly skewed, heavy-tailed data and with outliers. The proposed models are the skew-normal MoE and the robust $t$ MoE and skew $t$ MoE, respectively named SNMoE, TMoE and STMoE. We develop dedicated expectation-maximization (EM) and expectation conditional maximization (ECM) algorithms to estimate the parameters of the proposed models by monotonically maximizing the observed data log-likelihood. We describe how the presented models can be used in prediction and in model-based clustering of regression data. Numerical experiments carried out on simulated data show the effectiveness and the robustness of the proposed models in terms modeling non-linear regression functions as well as in model-based clustering. Then, to show their usefulness for practical applications, the proposed models are applied to the real-world data of tone perception for musical data analysis, and the one of temperature anomalies for the analysis of climate change data.

研究动机与目标

• 解决正态混合专家（NMoE）在处理回归与聚类中偏斜、重尾或异常值敏感数据时的局限性。
• 基于偏正态、t分布和偏t分布，开发非正态MoE模型，以提升对非高斯数据的鲁棒性与拟合能力。
• 为在潜变量存在的情况下实现模型参数的最大似然估计，提供专用的EM与ECM算法。
• 展示NNMoE模型在非线性回归预测与连续数据模型聚类中的实用性。
• 在模拟数据与真实世界应用（包括音调感知与气候变化数据）中对模型进行验证。

提出的方法

• 提出SNMoE，利用偏正态分布建模非对称数据，并采用分层与随机表示形式以支持潜变量建模。
• 提出基于t分布的TMoE，以处理重尾数据与异常值，利用正态分布的尺度混合形式增强鲁棒性。
• 通过偏t分布结合偏正态与t分布，开发STMoE，以同时建模偏度与重尾特性。
• 设计ECM与EM算法，以单调最大化观测数据的对数似然，更新所有模型参数的E步与M步。
• 利用随机与分层表示形式，促进EM/ECM算法的推导，尤其适用于混合分量中潜变量的处理。
• 应用模型选择准则（BIC、AIC、ICL）以确定模拟与真实数据实验中最优的分量数量。

实验结果

研究问题

• RQ1 与标准正态MoE相比，非正态混合专家模型是否能提升对具有偏度、重尾或异常值的数据的建模准确性？
• RQ2 在存在非对称或重尾数据的情况下，SNMoE、TMoE与STMoE在逼近非线性回归函数方面表现如何？
• RQ3 所提出的模型在异质回归数据的模型聚类性能方面提升了多少？
• RQ4 在模拟研究中，TMoE与STMoE模型相对于NMoE与SNMoE模型对异常值的鲁棒性如何？
• RQ5 在真实世界数据（如音调感知与气候温度异常）上，所提出模型的实证表现如何？

主要发现

• SNMoE、TMoE与STMoE模型在具有偏度、重尾或异常值的模拟数据中，能有效建模非线性回归函数。
• TMoE与STMoE模型在异常值处理方面表现出优于正态MoE（NMoE）的鲁棒性，表现为参数估计稳定且对数似然曲线一致。
• 在音调感知数据集中，所有模型拟合效果相似，STMoE与TMoE的表现与先前研究中的拉普拉斯MoE模型相当。
• 在温度异常数据集中，BIC与ICL准则一致选择了两个分量，而AIC对NMoE更倾向于选择更多分量，表明可能存在过拟合。
• TMoE与STMoE中估计的自由度超过17，表明数据近似正态分布，且偏度参数接近零，支持温度数据的对称性。
• 各模型的参数估计高度一致，SNMoE与STMoE的偏度参数接近零，表明温度异常数据中无显著非对称性。