[论文解读] Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models

Faïcel Chamroukhi, Bao-Tuyen Huynh|arXiv (Cornell University)|Oct 29, 2018

Bayesian Methods and Mixture Models参考文献 18被引用 9

一句话总结

该论文提出了一种用于混合专家（Mixture-of-Experts, MoE）模型的正则化最大似然估计框架，可在高维回归数据中实现自动特征选择。通过将ℓ1正则化直接整合到EM算法中，采用一种新颖的MM（Majorization-Minimization）与坐标上升方法，该方法在无需矩阵求逆或阈值处理的情况下实现了稀疏参数估计，在恢复真实稀疏结构和聚类异质数据方面表现出色。

ABSTRACT

Mixture of Experts (MoE) are successful models for modeling heterogeneous data in many statistical learning problems including regression, clustering and classification. Generally fitted by maximum likelihood estimation via the well-known EM algorithm, their application to high-dimensional problems is still therefore challenging. We consider the problem of fitting and feature selection in MoE models, and propose a regularized maximum likelihood estimation approach that encourages sparse solutions for heterogeneous regression data models with potentially high-dimensional predictors. Unlike state-of-the art regularized MLE for MoE, the proposed modelings do not require an approximate of the penalty function. We develop two hybrid EM algorithms: an Expectation-Majorization-Maximization (EM/MM) algorithm, and an EM algorithm with coordinate ascent algorithm. The proposed algorithms allow to automatically obtaining sparse solutions without thresholding, and avoid matrix inversion by allowing univariate parameter updates. An experimental study shows the good performance of the algorithms in terms of recovering the actual sparse solutions, parameter estimation, and clustering of heterogeneous regression data.

研究动机与目标

• 为解决在高维设置下传统MLE因过拟合和缺乏稀疏性而导致的MoE模型拟合难题。
• 开发一种正则化MLE方法，在不依赖近似惩罚函数的前提下，对专家和门控网络参数均实现稀疏化。
• 设计高效的基于EM的算法，避免矩阵求逆，实现在高维数据中的可扩展计算。
• 通过在参数更新步骤中直接嵌入ℓ1惩罚项，实现自动特征选择，消除事后阈值处理的需要。

提出的方法

• 在EM算法中提出一种正则化的Q函数，对专家回归系数（βk）和门控网络权重（wk）同时引入ℓ1惩罚项，使用独立的正则化参数λk和γk。
• 提出两种混合EM算法：一种使用MM（Majorization-Minimization）算法进行门控网络更新，另一种使用坐标上升法进行参数优化。
• 为门控网络中的对数分区项设计一个下界函数，避免矩阵求逆，确保单变量更新与计算效率。
• 基于引理3.1构造一个代理函数，对负对数似然项进行下界逼近，实现M步中的单调上升。
• 通过MM算法推导出门控网络参数（wk）的显式更新规则，确保收敛性并避免数值不稳定性。
• 采用坐标上升法按顺序更新参数，保持稀疏性并避免计算完整的Hessian矩阵。

实验结果

研究问题

• RQ1 在MoE模型中，正则化MLE是否能在不依赖事后阈值处理或近似惩罚函数的情况下实现自动特征选择？
• RQ2 如何修改EM算法，以在避免矩阵求逆的前提下，对专家和门控网络参数同时引入ℓ1正则化？
• RQ3 所提出的基于MM的EM算法在具有稀疏解的高维设置下是否能保持收敛性和稳定性？
• RQ4 与现有最先进方法相比，该方法在参数估计和聚类准确率方面的表现如何？

主要发现

• 所提出的基于MM的EM算法通过实现单变量参数更新，成功避免了矩阵求逆，显著提升了高维数据的可扩展性。
• 该方法通过在M步中直接引入ℓ1正则化实现自动稀疏化，无需事后处理的阈值化步骤。
• 实验结果表明，在模拟数据中能有效恢复真实的稀疏结构，对多个分量中相关预测变量的识别具有高精度。
• EM算法的坐标上升变体在收敛速度和稳定性方面与基于MM的方法相比表现相当或更优。
• 两种算法在聚类异质回归数据方面均优于标准MLE和现有正则化MoE方法，尤其在高维设置下表现更佳。
• 该方法在存在相关预测变量和高维特征空间的情况下，仍保持对过拟合和退化现象的鲁棒性。