[论文解读] Variable selection for mixed data clustering: a model-based approach

Matthieu Marbac, Mohammed Sedki|arXiv (Cornell University)|Mar 7, 2017

Bayesian Methods and Mixture Models参考文献 36被引用 6

一句话总结

本文提出了两种基于模型的混合数据聚类变量选择方法：一种通过改进的EM算法优化贝叶斯信息准则（BIC），另一种通过交替优化最大化完整数据似然（MICL）。两种方法均避免了模型比较过程中计算量巨大的最大似然估计，并优于标准的逐步选择方法，其中MICL在小样本数据集上表现更优，因其采用精确公式而无需渐近近似。

ABSTRACT

We propose two approaches for selecting variables in latent class analysis (i.e.,mixture model assuming within component independence), which is the common model-based clustering method for mixed data. The first approach consists in optimizing the BIC with a modified version of the EM algorithm. This approach simultaneously performs both model selection and parameter inference. The second approach consists in maximizing the MICL, which considers the clustering task, with an algorithm of alternate optimization. This approach performs model selection without requiring the maximum likelihood estimates for model comparison, then parameter inference is done for the unique selected model. Thus, the benefits of both approaches is to avoid the computation of the maximum likelihood estimates for each model comparison. Moreover, they also avoid the use of the standard algorithms for variable selection which are often suboptimal (e.g. stepwise method) and computationally expensive. The case of data with missing values is also discussed. The interest of both proposed criteria is shown on simulated and real data.

研究动机与目标

• 为解决在混合数据模型化聚类中选择相关变量的挑战，其中无关或冗余变量会损害模型准确率与可解释性。
• 开发高效的变量选择方法，避免为每次模型比较重复估计最大似然所导致的高计算成本。
• 通过识别最能表征混合类型数据中不同聚类的变量子集，提升聚类性能与可解释性。
• 处理缺失值问题，确保在数据不完整常见的现实应用中具有鲁棒性。
• 比较信息准则（BIC）与聚类导向准则（MICL）在变量选择中的表现，特别是在小样本情况下的表现。

提出的方法

• 第一种方法通过修改EM算法，联合优化模型选择与参数推断，即在组内独立性假设下最大化惩罚似然（具体为BIC）。
• 第二种方法采用交替优化以最大化MICL准则，该准则平衡模型拟合度与组分熵，实现高效变量选择，且无需为模型比较计算最大似然估计。
• 两种方法均假设组内独立性，从而减少参数数量并简化混合数据（连续型、分类型、整数型）的似然计算。
• MICL准则在共轭先验下推导，可获得闭式解，避免渐近近似，因此在小样本情况下更具准确性。
• 通过将缺失数据机制整合到似然框架中，将方法扩展至处理缺失数据，保持模型一致性。
• 模型选择无需穷举最大似然估计，与标准的贪婪或逐步搜索方法相比，显著降低了计算负担。

实验结果

研究问题

• RQ1 基于模型的混合数据聚类变量选择方法是否在准确率与计算效率方面优于传统的逐步方法？
• RQ2 最大化MICL准则是否在性能上优于BIC，特别是在BIC的渐近近似可能失效的小样本场景下？
• RQ3 在存在缺失值的真实混合类型数据集中，变量选择如何影响聚类结果的可解释性与准确率？
• RQ4 所提出的方法能否有效识别高维、小样本数据集中的真实组分数与相关变量？
• RQ5 组内独立性假设在模型误设或复杂数据结构下的鲁棒性与性能表现如何？

主要发现

• 在Coffee数据集上，基于MICL的方法仅使用42%的变量即达到100%的调整兰德指数（ARI），展示了变量选择的高效率与高准确率。
• 在具有挑战性的Golub数据集（83个观测，3051个变量）上，BIC因渐近近似而性能下降，而MICL正确识别出两个组分，并达到ARI 0.79，优于BIC的0.32。
• 对于Congress与Statlog-Heart数据集，MICL选择使ARI从0.47提升至0.47（Congress）和从0.25提升至0.33（Statlog-Heart），表明聚类质量持续改善。
• 在小样本场景下，MICL方法始终优于BIC，证实无渐近近似的精确准则在该条件下更具可靠性。
• 变量选择通过减少相关变量数量提升了可解释性——例如，在Congress数据集上，MICL仅选出16个变量中的2个，简化了聚类表征。
• 两种所提方法均避免了在模型比较过程中重复进行最大似然估计，与标准贪婪或逐步算法相比，显著降低了计算成本。