[论文解读] Sublinear Approximate Inference for Probabilistic Programs

Yutian Chen, Vikash K. Mansinghka+1 more|arXiv (Cornell University)|Nov 6, 2014

Bayesian Methods and Mixture Models参考文献 11被引用 2

一句话总结

本文提出了一种用于概率程序的亚线性时间 Metropolis-Hastings 算法，通过在动态构建的图模型中子采样边，实现了在高度耦合模型（如回归和状态空间模型）中的高效贝叶斯推断。该方法在多种应用中实现了可扩展的推断——包括逻辑回归、狄利克雷过程混合模型和随机波动率模型——每个任务仅需不到 20 行代码。

ABSTRACT

Probabilistic programming languages can simplify the development of ma-chine learning techniques, but only if inference is sufficiently scalable. Un-fortunately, Bayesian parameter estimation for highly coupled models such as regressions and state-space models still scales badly. This paper de-scribes a sublinear-time algorithm for making Metropolis-Hastings updates to latent variables in probabilistic programs. This approach generalizes re-cently introduced approximate MH techniques: instead of subsampling data items assumed to be independent, it subsamples edges in a dynamically con-structed graphical model. It thus applies to a broader class of problems and interoperates with general-purpose inference techniques. Empirical results are presented for Bayesian logistic regression, nonlinear classification via joint Dirichlet process mixtures, and parameter estimation for stochastic volatility models (with state estimation via particle MCMC). All three ap-plications use the same implementation, and each requires under 20 lines of probabilistic code. 1

研究动机与目标

• 解决高度耦合的概率模型（如回归和状态空间模型）中贝叶斯推断可扩展性差的问题。
• 开发一种亚线性时间的推断算法，在降低计算成本的同时保持准确性。
• 将现有的近似 Metropolis-Hastings 技术从独立同分布数据子采样推广到结构化、依赖性模型。
• 实现与概率编程框架中通用推断技术的互操作性。
• 通过极少的概率代码改动，在多种真实世界应用中展示该方法的有效性。

提出的方法

• 该方法构建概率程序的动态图模型表示，以识别变量之间的依赖关系。
• 它子采样该图模型中的边，而非单个数据项，从而降低计算开销。
• 通过子采样边，实现与模型规模亚线性增长的近似 Metropolis-Hastings 更新。
• 在温和的正则性条件下，该方法保持细致平衡和渐近正确性。
• 可无缝集成到现有推断引擎中，包括用于状态估计的粒子 MCMC。
• 实现轻量化，每个应用仅需不到 20 行概率代码。

实验结果

研究问题

• RQ1 在动态构建的图模型中基于边的子采样是否能实现在高度耦合模型中的亚线性时间贝叶斯推断？
• RQ2 与传统的数据子采样相比，边子采样在准确性和效率方面表现如何？
• RQ3 是否可以仅通过极少的代码修改，复用同一套推断实现于多种不同的概率模型？
• RQ4 在亚线性采样下，该方法是否仍能保持正确性和收敛性？
• RQ5 该方法在复杂模型（如随机波动率和非线性混合模型）中的可扩展性如何？

主要发现

• 通过在动态构建的图模型中子采样边，所提方法实现了亚线性时间复杂度，显著降低了推断成本。
• 实验结果表明，该方法在贝叶斯逻辑回归、通过狄利克雷过程混合模型实现的非线性分类以及随机波动率模型中均表现出良好的可扩展性。
• 所有三个应用均仅需少于 20 行概率代码，证明了代码的高复用性和简洁性。
• 该方法在保持与全数据 Metropolis-Hastings 相当的准确性的同时，大幅减少了计算时间。
• 该方法超越了独立同分布数据假设，能够应用于具有复杂依赖关系的模型。
• 它可与通用推断技术（包括粒子 MCMC）互操作，增强了其适用性。