[论文解读] Trust-Region Variational Inference with Gaussian Mixture Models

Oleg Arenz, Mingjun Zhong+1 more|arXiv (Cornell University)|Jul 10, 2019

Gaussian Processes and Bayesian Inference参考文献 70被引用 4

一句话总结

本文提出信任域变分推断与高斯混合模型（VIPS），一种利用信息几何信任域和下界优化的方法，可学习准确且动态自适应的高斯混合模型（GMM）近似，以逼近复杂、多模态的目标分布。通过支持独立分量更新和在线分量自适应，该方法在计算成本降低至原有1,000倍的情况下，实现了接近MCMC的采样质量。

ABSTRACT

Many methods for machine learning rely on approximate inference from intractable probability distributions. Variational inference approximates such distributions by tractable models that can be subsequently used for approximate inference. Learning sufficiently accurate approximations requires a rich model family and careful exploration of the relevant modes of the target distribution. We propose a method for learning accurate GMM approximations of intractable probability distributions based on insights from policy search by using information-geometric trust regions for principled exploration. For efficient improvement of the GMM approximation, we derive a lower bound on the corresponding optimization objective enabling us to update the components independently. Our use of the lower bound ensures convergence to a stationary point of the original objective. The number of components is adapted online by adding new components in promising regions and by deleting components with negligible weight. We demonstrate on several domains that we can learn approximations of complex, multimodal distributions with a quality that is unmet by previous variational inference methods, and that the GMM approximation can be used for drawing samples that are on par with samples created by state-of-the-art MCMC samplers while requiring up to three orders of magnitude less computational resources.

研究动机与目标

• 解决贝叶斯推断中复杂、多模态后验分布近似的问题，其中标准变分方法因受限的平均场假设而失效。
• 通过结合计算效率与高样本质量，克服MCMC与标准变分推断的局限性，以处理不可计算的后验分布。
• 开发一种在优化过程中动态调整高斯混合模型（GMM）分量数量的方法，以更好地捕捉目标分布的多个模式。
• 通过推导的下界与信任域更新，确保对不可计算KL散度目标函数的稳定且高效的优化。
• 实现从学习到的GMM近似中进行高质量采样，其样本质量与或超过最先进MCMC采样器，同时显著降低计算成本。

提出的方法

• 提出受策略搜索（MORE）启发的信任域框架，通过局部二次近似确保变分目标的稳定、单调改进。
• 推导出反向KL散度的下界，该下界可分解为每个GMM分量的独立子问题，从而实现高效、并行的更新。
• 利用该下界迭代收紧并最大化目标函数，保证收敛至原始KL最小化问题的驻点。
• 在优化过程中动态调整GMM分量数量：在高密度区域添加新分量，并移除权重可忽略的分量。
• 利用未归一化目标密度的函数评估结果引导探索，平衡对高密度区域的利用与新模式的发现。
• 应用信任域约束，确保GMM参数的更新保持在局部近似有效的区域内，防止发散。

实验结果

研究问题

• RQ1 信任域优化框架能否提升使用GMM进行多模态后验推断时的稳定性与收敛性？
• RQ2 下界分解能否实现GMM分量的独立且高效更新，同时保持收敛性保证？
• RQ3 在线分量自适应（添加与删除）能否在无需预先知晓模式数量的情况下，实现更准确且紧凑的GMM近似？
• RQ4 从学习到的GMM中采样的质量与最先进MCMC采样器相比如何，特别是在统计保真度与计算成本方面？
• RQ5 该方法在复杂、多模态分布上，相较于BBVI与IAF等现有变分推断基线，在ELBO与样本质量指标上能多大程度上实现超越？

主要发现

• VIPS++在最大均值差异（MMD）方面达到与最先进MCMC采样器（如PTMCMC）相当的水平，计算成本降低至原有1,000倍。
• 该方法学习到的GMM近似能更有效地覆盖复杂高维后验分布的多个模式（例如，20维GMM，具有4个目标的平面机械臂）。
• 尽管IAF学习到的GMM包含多个分量，其在平面机械臂任务上的ELBO与VIPS++相近，但仅从两个主要构型中的一个生成样本，表明模式覆盖能力差。
• 信任域框架的使用确保了在高维、多模态设置下，优化过程的稳定性和对原始目标函数驻点的收敛。
• 评估所用的真实样本通过广义椭圆扇区采样生成，耗时长达两天，使用128个CPU核心，证实基线样本质量极高。
• 在德国信贷与乳腺癌数据集上，VIPS++的MMD值显著低于BBVI与IAF，表明其在多样化概率模型中具备更优的样本质量。