[论文解读] Warped Mixtures for Nonparametric Cluster Shapes

Tomoharu Iwata, David Duvenaud+1 more|arXiv (Cornell University)|Aug 9, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用 14

一句话总结

该论文提出了一种非参数贝叶斯模型——扭曲混合模型（Warped Mixtures），通过非线性变换对低维高斯混合模型进行扭曲，从而学习灵活的、非球形的聚类形状。通过解析地积分掉混合参数和扭曲参数，该模型可自动推断聚类的数量、形状及维度，在高维数据上的聚类恢复与密度估计方面优于无限高斯混合模型。

ABSTRACT

A mixture of Gaussians fit to a single curved or heavy-tailed cluster will report that the data contains many clusters. To produce more appropriate clusterings, we introduce a model which warps a latent mixture of Gaussians to produce nonparametric cluster shapes. The possibly low-dimensional latent mixture model allows us to summarize the properties of the high-dimensional clusters (or density manifolds) describing the data. The number of manifolds, as well as the shape and dimension of each manifold is automatically inferred. We derive a simple inference scheme for this model which analytically integrates out both the mixture parameters and the warping function. We show that our model is effective for density estimation, performs better than infinite Gaussian mixture models at recovering the true number of clusters, and produces interpretable summaries of high-dimensional datasets.

研究动机与目标

• 为解决高斯混合模型在捕捉高维数据中非球形或重尾聚类形状方面的局限性。
• 开发一种非参数方法，可在无需先验指定的情况下自动推断聚类的真实数量及其内在低维流形。
• 通过将聚类建模为扭曲流形，实现在高维数据集中的可解释聚类与密度估计。
• 推导一种高效的推理方案，通过解析地对混合参数与扭曲函数进行积分，避免昂贵的MCMC采样。

提出的方法

• 该模型在低维空间中使用潜在高斯混合来表示聚类结构。
• 通过非线性扭曲函数将潜在高斯分布映射到观测空间中的复杂非参数聚类形状。
• 利用高斯过程对扭曲函数进行非参数建模，以实现灵活的形状学习。
• 采用非共轭层次先验，以实现对聚类数量和流形维度的自动推断。
• 提出一种新颖的推理方案，通过解析积分消去混合权重与扭曲函数，避免使用MCMC采样。
• 通过变分近似计算后验分布，实现在高维数据上的可扩展推理。

实验结果

研究问题

• RQ1 非参数贝叶斯模型是否能在不假设固定参数形式的前提下，学习复杂且非球形的聚类形状？
• RQ2 该模型是否能自动推断高维数据中聚类的数量及其内在维度？
• RQ3 与标准的无限高斯混合模型相比，对潜在高斯混合进行扭曲是否能提升聚类恢复与密度估计性能？
• RQ4 该模型是否能生成高维数据流形的可解释性低维总结？

主要发现

• 在具有弯曲或重尾结构的合成数据上，扭曲混合模型在恢复真实聚类数量方面显著优于无限高斯混合模型。
• 即使在高维设置下，该模型也能在无先验知识的情况下成功推断出正确的聚类数量及其内在维度。
• 对混合参数与扭曲函数的解析积分使推理速度更快、更稳定，优于基于MCMC的替代方法。
• 该模型在真实世界数据集上产生了准确的密度估计，表现出更优的似然值与聚类性能。