[论文解读] Universal Boosting Variational Inference

Trevor Campbell, Xinglong Li|arXiv (Cornell University)|Jun 4, 2019

Statistical Methods and Inference参考文献 55被引用 11

一句话总结

本文提出了一种新型变分推断方法——通用提升变分推断（Universal Boosting Variational Inference, UBVI），该方法利用Hellinger距离实现鲁棒、可扩展且普遍收敛的后验近似。通过利用Hellinger度量下概率密度的单位球面几何结构，UBVI避免了分量优化中的退化问题，无需引入人为正则化，并保证在混合族中收敛至最佳近似——即使在模型误设的情况下亦成立。

ABSTRACT

Boosting variational inference (BVI) approximates an intractable probability density by iteratively building up a mixture of simple component distributions one at a time, using techniques from sparse convex optimization to provide both computational scalability and approximation error guarantees. But the guarantees have strong conditions that do not often hold in practice, resulting in degenerate component optimization problems; and we show that the ad-hoc regularization used to prevent degeneracy in practice can cause BVI to fail in unintuitive ways. We thus develop universal boosting variational inference (UBVI), a BVI scheme that exploits the simple geometry of probability densities under the Hellinger metric to prevent the degeneracy of other gradient-based BVI methods, avoid difficult joint optimizations of both component and weight, and simplify fully-corrective weight optimizations. We show that for any target density and any mixture component family, the output of UBVI converges to the best possible approximation in the mixture family, even when the mixture family is misspecified. We develop a scalable implementation based on exponential family mixture components and standard stochastic optimization techniques. Finally, we discuss statistical benefits of the Hellinger distance as a variational objective through bounds on posterior probability, moment, and importance sampling errors. Experiments on multiple datasets and models show that UBVI provides reliable, accurate posterior approximations.

研究动机与目标

• 解决标准变分推断的根本局限性，即变分族通常无法包含真实后验，导致近似质量低下。
• 克服现有提升变分推断（BVI）方法中的退化问题，此类问题源于Kullback-Leibler散度的非光滑性以及对人为正则化的依赖。
• 开发一种理论基础坚实、可扩展且普遍收敛的变分推断框架，无论模型是否误设，均能保证收敛至混合族中的最佳近似。
• 通过在希尔伯特空间框架下利用Hellinger距离的几何特性，为BVI提供一种有原则的替代方案。
• 通过使用指数族分量和随机优化技术，实现实际可计算的实现，确保在大规模贝叶斯模型上的计算可扩展性。

提出的方法

• 将变分推断公式化为以Hellinger距离作为分歧度量，该度量在概率密度的希尔伯特空间中诱导出单位球面几何结构。
• 在Hellinger几何中使用基于梯度的优化方法，迭代地添加和重加权混合分量，避免对分量和权重进行联合优化。
• 利用Hellinger距离可完全简化校正权重更新的特性，且无需知道目标密度的归一化常数。
• 基于Hellinger空间中的测地线更新构建递归更新规则，确保误差单调减少，并收敛至混合族中的最佳近似。
• 通过使用指数族分量和随机优化技术实现该方法，确保在大规模数据集上的可扩展性。
• 提出一种基于希尔伯特空间投影和锥几何的新型理论框架，证明在一般条件下（即使混合族误设）仍可实现收敛。

实验结果

研究问题

• RQ1 能否设计一种提升变分推断方法，使其无论在模型误设情况下，均能普遍收敛至给定混合族中的最佳近似？
• RQ2 与Kullback-Leibler散度相比，使用Hellinger距离是否能消除分量优化中的退化现象，并消除对人为正则化的依赖？
• RQ3 能否利用Hellinger空间的几何结构来简化权重优化，并避免联合更新分量与权重？
• RQ4 将Hellinger距离作为变分目标，在后验概率、矩和重要性采样误差的界方面，能带来哪些统计优势？
• RQ5 在实际应用中，该方法相较于现有BVI和VI方法，在多种模型和数据集上的准确性、可靠性和可扩展性方面表现如何？

主要发现

• UBVI在任意目标密度下均能保证收敛至混合族中的最佳近似，即使混合族存在误设。
• 通过利用Hellinger距离的平滑且单位球面的几何结构，该方法避免了分量优化中的退化问题，无需人为正则化。
• 通过递归误差减少界证明收敛性，确保误差单调下降，误差以$ O(1/n) $的速率减少，其中$ n $为迭代次数。
• 将Hellinger距离作为变分目标可对后验概率、矩和重要性采样误差提供更紧的界，从而提升统计可靠性。
• 在多个数据集和模型上的实验表明，UBVI提供的后验近似比现有BVI和VI方法更准确、更可靠。
• 通过使用指数族分量和随机优化技术实现的可扩展实现，使得该方法在大规模贝叶斯模型上训练高效，同时不损失理论保证。