[论文解读] Simple approximate MAP Inference for Dirichlet processes

Yordan P. Raykov, Alexis Boukouvalas+1 more|arXiv (Cornell University)|Nov 4, 2014

Bayesian Methods and Mixture Models参考文献 11被引用 4

一句话总结

本文提出了一种非退化、计算高效的 Dirichlet 过程混合模型（DPMs）MAP 推断算法，利用中国餐馆过程（CRP）实现与吉布斯采样相当的聚类性能，同时仅需极少的迭代次数和计算量。与退化的极小方差近似不同，该方法保留了“富者愈富”的特性，并支持模型验证的样本外似然评估。

ABSTRACT

The Dirichlet process mixture (DPM) is a ubiquitous, flexible Bayesian nonparametric statistical model. However, full probabilistic inference in this model is analytically intractable, so that computationally intensive techniques such as Gibb's sampling are required. As a result, DPM-based methods, which have considerable potential, are restricted to applications in which computational resources and time for inference is plentiful. For example, they would not be practical for digital signal processing on embedded hardware, where computational resources are at a serious premium. Here, we develop simplified yet statistically rigorous approximate maximum a-posteriori (MAP) inference algorithms for DPMs. This algorithm is as simple as K-means clustering, performs in experiments as well as Gibb's sampling, while requiring only a fraction of the computational effort. Unlike related small variance asymptotics, our algorithm is non-degenerate and so inherits the "rich get richer" property of the Dirichlet process. It also retains a non-degenerate closed-form likelihood which enables standard tools such as cross-validation to be used. This is a well-posed approximation to the MAP solution of the probabilistic DPM model.

研究动机与目标

• 解决 Dirichlet 过程混合模型中完整贝叶斯推断的高计算成本问题，以使其适用于资源受限的环境。
• 开发一种简化但统计严谨的近似 MAP 推断算法，避免依赖于小方差渐近近似的退化问题。
• 保留 DPM 的关键概率特性，如“富者愈富”效应和非退化似然，以实现有效的模型选择与交叉验证。
• 在收敛速度上与 K-means 聚类相当，同时在基准数据集上达到与吉布斯采样相当的准确性。

提出的方法

• 该算法使用中国餐馆过程（CRP）对数据划分为簇进行建模，从而实现高效且可处理的 MAP 推断。
• 它将 MAP 问题表述为对簇分配的离散优化，避免了迭代 MCMC 采样的需求。
• 该方法计算出非退化的闭式似然，支持标准的模型诊断方法，如交叉验证。
• 它利用 CRP 的条件分布，高效地重新分配数据点到簇中，从而将每次迭代的计算开销降至最低。
• 该算法对数据点执行迭代更新，类似于 K-means，但采用概率性、非退化的目标函数。
• 它避免了变分推断的因子分解假设，且未截断 DPM 的无限分量空间。

实验结果

研究问题

• RQ1 能否为 DPMs 开发一种非退化、近似的 MAP 推断算法，以保留“富者愈富”的特性？
• RQ2 所提出的 MAP-DPM 算法在收敛速度和聚类准确性方面与吉布斯采样和 DP-means 相比如何？
• RQ3 该算法能否支持样本外似然评估，以用于模型选择与验证？
• RQ4 该算法是否在不依赖退化似然近似的情况下，保持了与原始 DPM 模型的统计保真度？

主要发现

• 在 UCI 数据集上，MAP-DPM 算法仅需 5 至 17 次迭代即可收敛，而吉布斯采样则需 939 至超过 10,000 次迭代，且 NMI 评分相当。
• 在 Wine 数据集上，MAP-DPM 的 NMI 评分达到了所有吉布斯样本中的最高值，表明其具有出色的聚类准确性。
• 在 Wine 数据集上，MAP-DPM 仅需 11 次迭代，而吉布斯采样需 2,365 次迭代才能达到相似性能。
• 与使用退化点质量似然的 DP-means 不同，MAP-DPM 保留了非退化似然，从而支持交叉验证与模型诊断。
• 尽管每次迭代的复杂度相似，MAP-DPM 在收敛速度和统计保真度方面仍优于 DP-means。
• 该算法对高维稀疏性具有鲁棒性，如在 Soybean 数据集上的表现所示，吉布斯采样即使在 10,000 次迭代后仍未能收敛。