[论文解读] Slice sampling for general completely random measures

Peiyuan Zhu|arXiv (Cornell University)|Jan 1, 2020

Bayesian Methods and Mixture Models被引用 2

一句话总结

该论文提出了一种适用于基于完全随机测度模型的后验推断的可推广切片采样算法，通过辅助切片变量实现自适应截断，从而在不损失模型灵活性的前提下实现高效、并行化计算。与边际化或固定截断方法相比，该方法在每秒有效样本数和预测性能方面表现更优。

ABSTRACT

Completely random measures provide a principled approach to creating flexible unsupervised models, where the number of latent features is infinite and the number of features that influence the data grows with the size of the data set. Due to the infinity the latent features, posterior inference requires either marginalization---resulting in dependence structures that prevent efficient computation via parallelization and conjugacy---or finite truncation, which arbitrarily limits the flexibility of the model. In this paper we present a novel Markov chain Monte Carlo algorithm for posterior inference that adaptively sets the truncation level using auxiliary slice variables, enabling efficient, parallelized computation without sacrificing flexibility. In contrast to past work that achieved this on a model-by-model basis, we provide a general recipe that is applicable to the broad class of completely random measure-based priors. The efficacy of the proposed algorithm is evaluated on several popular nonparametric models, demonstrating a higher effective sample size per second compared to algorithms using marginalization as well as a higher predictive performance compared to models employing fixed truncations.

研究动机与目标

• 解决基于完全随机测度模型的后验推断因无限潜变量特征而导致的计算低效问题。
• 克服固定截断方法对模型灵活性的限制，以及边际化方法对并行化计算的阻碍。
• 开发一种通用推断算法，适用于基于完全随机测度的广泛非参数模型类别。
• 通过切片采样实现自适应截断，实现高效、可扩展且灵活的后验推断。
• 与现有方法相比，提升计算效率（每秒有效样本数）和预测性能。

提出的方法

• 引入辅助切片变量，以定义联合后验分布，从而实现对无限维完全随机测度的自适应截断。
• 构建马尔可夫链蒙特卡洛采样器，联合更新切片变量和截断测度分量，确保对后验分布的充分探索。
• 利用切片变量诱导出的条件独立结构，实现在各分量间的并行计算。
• 设计算法以根据后验密度自动调整截断水平，避免人为或固定的截断阈值。
• 通过依赖底层Lévy测度的一般性质，确保该方法对任意完全随机测度先验均有效。
• 采用类似吉布斯采样的方案，交替更新切片变量和测度分量，保持细致平衡与收敛性。

实验结果

研究问题

• RQ1 能否为基于完全随机测度模型的后验推断开发一种通用的MCMC算法，以避免固定截断和边际化方法的缺陷？
• RQ2 与基于边际化的推断相比，通过切片采样实现的自适应截断是否能带来更高的每秒有效样本数？
• RQ3 所提出的方法是否能保持或提升相对于使用固定截断水平模型的预测性能？
• RQ4 该算法在非参数贝叶斯模型中在多大程度上实现了高效、并行化计算？
• RQ5 该切片采样方法在具有完全随机测度先验的多样化非参数模型中是否具备可扩展性和鲁棒性？

主要发现

• 所提出的切片采样算法在每秒有效样本数方面优于基于边际化的推断方法，表明计算效率更高。
• 由于采用了自适应且数据驱动的截断策略，该算法在预测性能上优于使用固定截断水平的模型。
• 通过利用切片变量诱导出的条件独立结构，该方法实现了高效并行计算。
• 通过避免人为截断，该方法保持了模型灵活性，使活跃特征数量可随数据规模增长。
• 在多个非参数模型上的实证评估证实，该算法在不同推断任务中均表现出鲁棒性和可扩展性。
• 该通用方法可广泛适用于所有基于完全随机测度的模型，超越特定模型的解决方案。