[论文解读] Sparse Variational Inference: Bayesian Coresets from Scratch

Trevor Campbell, Boyan Beronov|arXiv (Cornell University)|Jun 7, 2019

Gaussian Processes and Bayesian Inference参考文献 59被引用 4

一句话总结

本文通过在指数族中将共核选择建模为稀疏约束变分推断，提出了一种完全自动化的贝叶斯共核构造稀疏变分推断框架。该方法在共核后验的黎曼流形上进行贪婪优化，与先前方法相比，后验近似效果达到最先进水平，KL散度降低了一个数量级以上的量级，而先前方法受限于固定的切平面近似。

ABSTRACT

The proliferation of automated inference algorithms in Bayesian statistics has provided practitioners newfound access to fast, reproducible data analysis and powerful statistical models. Designing automated methods that are also both computationally scalable and theoretically sound, however, remains a significant challenge. Recent work on Bayesian coresets takes the approach of compressing the dataset before running a standard inference algorithm, providing both scalability and guarantees on posterior approximation error. But the automation of past coreset methods is limited because they depend on the availability of a reasonable coarse posterior approximation, which is difficult to specify in practice. In the present work we remove this requirement by formulating coreset construction as sparsity-constrained variational inference within an exponential family. This perspective leads to a novel construction via greedy optimization, and also provides a unifying information-geometric view of present and past methods. The proposed Riemannian coreset construction algorithm is fully automated, requiring no problem-specific inputs aside from the probabilistic model and dataset. In addition to being significantly easier to use than past methods, experiments demonstrate that past coreset constructions are fundamentally limited by the fixed coarse posterior approximation; in contrast, the proposed algorithm is able to continually improve the coreset, providing state-of-the-art Bayesian dataset summarization with orders-of-magnitude reduction in KL divergence to the exact posterior.

研究动机与目标

• 解决现有贝叶斯共核方法中缺乏自动化的问题，这些方法依赖于用户指定的粗略后验近似。
• 消除共核构造中除模型和数据集外对问题特定输入的需求。
• 开发一种理论基础扎实、可扩展的共核方法，具备可证明的后验近似保证。
• 通过黎曼信息几何视角统一并扩展先前的共核方法。
• 证明沿共核流形持续改进可获得优于固定切面方法的后验近似效果。

提出的方法

• 在指数族内将共核构造建模为稀疏约束变分推断，实现KL散度梯度估计的可处理性。
• 在共核后验的黎曼流形上应用贪婪优化算法，迭代改进共核。
• 使用KL散度在共核后验与真实后验之间的无偏梯度估计来指导选择。
• 推导出在共核模型下后验协方差和均值的闭式表达式，实现在指数族模型中的精确计算。
• 应用黎曼几何将以往共核方法（如希尔伯特共核）统一为在单一切空间内操作，而所提方法则沿流形演化。
• 为贪婪优化引入学习率调度 $\gamma_t = t^{-1}$，确保迭代选择过程的收敛性。

实验结果

研究问题

• RQ1 共核构造能否在无需用户指定粗略后验近似的情况下实现完全自动化？
• RQ2 在共核后验的黎曼流形上操作是否能获得优于固定切面方法的后验近似效果？
• RQ3 在指数族中进行稀疏变分推断能否实现共核优化中无偏且可处理的KL散度梯度估计？
• RQ4 在多种模型和数据集上，该方法与精确后验相比，在KL散度上的定量表现如何？
• RQ5 与现有共核构造技术相比，该方法的计算成本如何？

主要发现

• 所提出的黎曼共核构造算法与以往方法相比，与精确后验的KL散度降低了数量级以上的量级，尤其在共核大小超过150时表现更优。
• 以往方法（如GIGA）从根本上受限于其固定的切平面近似，随着共核大小增加，后验近似质量受到限制。
• 即使采用合理的粗略后验选择，以往方法（如GIGA）的表现仍劣于均匀子采样，凸显其对输入质量的敏感性。
• 所提方法在无需假设 $\hat{\pi} \approx \pi_1$ 的情况下，仍优于GIGA（最优）在KL散度降低方面的表现。
• 该方法完全自动化，仅需输入概率模型和数据集，无需针对问题的调优。
• 尽管由于迭代梯度更新而比希尔伯特共核构造更慢，但SparseVI是唯一在最优后验不可用时，对合理共核大小能显著降低KL散度的实际可行方法。