[论文解读] Sparse Bayesian Unsupervised Learning

Stéphane Gaïffas, Bertrand Michel|arXiv (Cornell University)|Jan 30, 2014

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

该论文提出了一种用于高维聚类的稀疏贝叶斯无监督学习方法，通过使用诱导稀疏性的先验分布，联合选择相关变量并估计聚类数量，采用广义贝叶斯后验分布。该方法建立了稀疏性oracle不等式，证明了对聚类数量 $K$ 和变量集 $S$ 的最优选择；并通过一种面向聚类的高效Metropolis-Hastings算法实现，采用聚类导向的提议分布，在约300步内实现快速收敛。

ABSTRACT

This paper is about variable selection, clustering and estimation in an unsupervised high-dimensional setting. Our approach is based on fitting constrained Gaussian mixture models, where we learn the number of clusters $K$ and the set of relevant variables $S$ using a generalized Bayesian posterior with a sparsity inducing prior. We prove a sparsity oracle inequality which shows that this procedure selects the optimal parameters $K$ and $S$. This procedure is implemented using a Metropolis-Hastings algorithm, based on a clustering-oriented greedy proposal, which makes the convergence to the posterior very fast.

研究动机与目标

• 为解决高维数据聚类中噪声变量掩盖真实聚类结构的挑战。
• 在 $d \gg n$ 的无监督设置下，联合选择聚类数量 $K$ 和相关变量集 $S$。
• 为高斯混合模型（GMMs）中的变量选择与聚类开发一种具有理论保障的统计方法。
• 克服惩罚方法（如L1惩罚）缺乏理论支持且可能无法在聚类均值间强制共享支持的局限性。
• 通过在Metropolis-Hastings中使用贪婪的、面向聚类的提议，提供一种计算高效的MCMC替代方案。

提出的方法

• 采用两样本划分：一个用于学习后验分布，另一个用于估计最大似然估计量。
• 在聚类数量 $K$ 和变量集 $S$ 上应用具有诱导稀疏性先验的广义贝叶斯后验。
• 采用PAC-贝叶斯框架推导理论保障，将模型选择与估计统一于一个贝叶斯学习规则中。
• 通过面向聚类的贪婪提议实现Metropolis-Hastings算法，以高效探索离散参数空间 $(K, S)$。
• 使用受限高斯混合模型（GMM），其中聚类均值分解为 $\mu_k = \bar{\mu} + m_k$，并对 $m_k$ 假设稀疏性。
• 通过 bracketing entropy 和偏差界控制Hellinge r风险，依赖 massart03 和 CohenLepennec11 的结果控制估计误差。

实验结果

研究问题

• RQ1 贝叶斯方法能否在高维无监督学习中，联合选择聚类数量 $K$ 和相关变量集 $S$，并具备理论保障？
• RQ2 所提出的方法是否能通过自动选择最优 $(K, S)$ 对应对实现最优估计误差？
• RQ3 在Metropolis-Hastings中使用面向聚类的提议相比标准提议，对收敛速度有何影响？
• RQ4 PAC-贝叶斯框架能否成功适配于具有GMM的稀疏模型聚类？
• RQ5 该方法在估计误差和变量选择一致性方面的统计性能如何？

主要发现

• 该方法实现了稀疏性oracle不等式，证明广义后验能以估计误差最优的方式选择最优的 $(K, S)$ 对。
• 在约300次Metropolis-Hastings迭代内实现后验收敛，表明由于定制化的聚类导向提议，混合速度很快。
• 理论界表明，期望Hellinge r风险受一个随 $\frac{\ln K! + |S|\ln(ed/|S|)}{n_1}$ 缩放的项控制，反映了模型复杂度与稀疏性。
• 估计误差被界为 $\mathcal{K}(f^\star, \mathcal{F}_\eta) + \kappa \left( \frac{D(\eta)}{n_2} \left( \mathcal{A}^2 + \ln^+(n_2 / (\mathcal{A}^2 D(\eta))) \right) + \frac{1}{n_2} \right)$，并给出了显式常数。
• 该方法确保所选的 $m_k$ 具有相同的支撑集，强制仅由一组共同变量驱动聚类分离。
• 该方法是首个为高维GMM中稀疏模型驱动的无监督学习提供稀疏性oracle不等式的程序。