[论文解读] Using Large Ensembles of Control Variates for Variational Inference

Tomas Geffner, Justin Domke|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Algorithms被引用 10

一句话总结

本文提出了一种贝叶斯风险最小化框架，用于在随机变分推断中系统整合大规模控制变量子集，通过有条理地聚合多样化控制变量子集显著提升优化收敛速度。该方法推导出一种简单而最优的组合规则，其性能优于标准估计器及减少后的控制变量子集。

ABSTRACT

Variational inference is increasingly being addressed with stochastic optimization. In this setting, the gradient's variance plays a crucial role in the optimization procedure, since high variance gradients lead to poor convergence. A popular approach used to reduce gradient's variance involves the use of control variates. Despite the good results obtained, control variates developed for variational inference are typically looked at in isolation. In this paper we clarify the large number of control variates that are available by giving a systematic view of how they are derived. We also present a Bayesian risk minimization framework in which the quality of a procedure for combining control variates is quantified by its effect on optimization convergence rates, which leads to a very simple combination rule. Results show that combining a large number of control variates this way significantly improves the convergence of inference over using the typical gradient estimators or a reduced number of control variates.

研究动机与目标

• 解决随机变分推断中的高梯度方差问题，该问题会阻碍优化收敛。
• 统一并系统化推导现有变分推断中的控制变量子集。
• 开发一种有原则的框架，用于组合多个控制变量子集以提升收敛速度。
• 使用基于风险的准则量化控制变量子集组合对优化性能的影响。

提出的方法

• 作者引入一种贝叶斯风险最小化框架，基于其对收敛速度的影响来评估和组合控制变量子集。
• 他们推导出一种简单而最优的控制变量子集组合规则，以最小化优化过程中的期望风险。
• 该方法系统地推导并整合大量控制变量子集，将其视为统一推断框架的一部分。
• 该框架通过控制变量子集组合对随机优化收敛速度的影响来量化其质量。
• 它利用变分推断的结构，高效地计算并组合控制变量子集，而无需增加计算开销。

实验结果

研究问题

• RQ1 如何系统地组合大量控制变量子集以提升变分推断的收敛速度？
• RQ2 在随机优化设置中，控制变量子集的最优加权与聚合方式是什么？
• RQ3 与仅使用少数或标准估计器相比，组合大量控制变量子集在收敛速度上有何差异？
• RQ4 是否可以使用有原则的风险驱动框架来量化并提升控制变量子集组合的质量？

主要发现

• 使用所提出的框架组合大规模控制变量子集，可显著加快变分推断的收敛速度。
• 该方法在优化收敛速度方面优于标准梯度估计器及减少后的控制变量子集。
• 基于贝叶斯风险最小化推导出的最优组合规则简单而有效，在各类实验中均表现出一致的改进。
• 对控制变量子集的系统性推导揭示了一个更广泛的估计器类别，可被用于提升推断性能。