[论文解读] Variational approximations using Fisher divergence

Yue Yang, Ryan R. Martin+1 more|arXiv (Cornell University)|May 13, 2019

Gaussian Processes and Bayesian Inference参考文献 25被引用 6

一句话总结

本文提出了一种新颖的变分贝叶斯推断方法，通过最小化真实后验分布与变分近似之间的费雪散度，实现了高效且精确的后验估计，而无需依赖共轭性或平均场假设。该方法采用迭代重新加权最小二乘算法，在逻辑斯蒂回归中表现出优于传统基于Kullback–Leibler散度的方法，具有更快的收敛速度和更优的矩估计性能。

ABSTRACT

Modern applications of Bayesian inference involve models that are sufficiently complex that the corresponding posterior distributions are intractable and must be approximated. The most common approximation is based on Markov chain Monte Carlo, but these can be expensive when the data set is large and/or the model is complex, so more efficient variational approximations have recently received considerable attention. The traditional variational methods, that seek to minimize the Kullback--Leibler divergence between the posterior and a relatively simple parametric family, provide accurate and efficient estimation of the posterior mean, but often does not capture other moments, and have limitations in terms of the models to which they can be applied. Here we propose the construction of variational approximations based on minimizing the Fisher divergence, and develop an efficient computational algorithm that can be applied to a wide range of models without conjugacy or potentially unrealistic mean-field assumptions. We demonstrate the superior performance of the proposed method for the benchmark case of logistic regression.

研究动机与目标

• 为解决基于Kullback–Leibler散度的传统变分推断方法的局限性，后者通常无法捕捉后验分布的高阶矩，且需要施加限制性假设。
• 开发一种计算高效的变分近似方法，避免在贝叶斯模型中依赖归一化常数和共轭性。
• 在复杂模型（如逻辑斯蒂回归）中，证明基于费雪散度最小化的优越性。
• 提供一种实用且可扩展的算法，用于后验近似，在降低计算成本的同时保持高精度。

提出的方法

• 该方法最小化真实后验分布与变分近似之间的费雪散度，其定义为得分函数差异的L2范数，加权于近似密度。
• 利用变分族的指数族结构，将费雪散度简化为便于优化的形式。
• 开发了一种迭代重新加权最小二乘（IRLS）算法，以高效求解最小化问题，无需共轭先验或平均场独立性假设。
• 对于更新方程中难以计算的期望，采用变分分布均值处的二阶泰勒展开，以近似后验矩。
• 通过从费雪散度最小化推导出的闭式表达式，更新正态变分近似的精度矩阵和均值。
• 将该方法应用于逻辑斯蒂回归，通过基于迹的二次型近似，计算参数非线性函数的期望。

实验结果

研究问题

• RQ1 最小化费雪散度是否能在贝叶斯推断中提供比最小化Kullback–Leibler散度更精确的后验近似？
• RQ2 所提出的方法是否在避免共轭性或平均场假设的同时，仍保持计算效率？
• RQ3 基于费雪散度的近似在后验矩估计和边际似然界估计方面表现如何？
• RQ4 与基于KL的方法相比，费雪散度方法是否能在后验矩估计中提供更优的误差控制？
• RQ5 基于IRLS的算法在高维模型（如逻辑斯蒂回归）中的计算可扩展性如何？

主要发现

• 所提出的基于费雪散度的变分推断方法在后验矩近似方面显著优于传统的Kullback–Leibler最小化方法，尤其在捕捉后验分布的高阶特征方面表现更优。
• 在逻辑斯蒂回归这一基准模型中，该方法表现出更优的性能，收敛速度更快，且后验均值与方差估计比基于KL的方法更精确。
• 该算法计算高效，在后验近似中保持高精度的同时，比马尔可夫链蒙特卡洛方法快几个数量级。
• 对难以计算的期望采用二阶泰勒近似，使方法在无需蒙特卡洛采样的情况下实现实际应用，降低了计算开销。
• 该方法不依赖归一化常数或共轭先验，因此可应用于比标准变分推断更广泛的模型类别。
• 尽管边际似然未作为费雪散度中的加性常数出现，但其与其他差异度量的联系表明，可能推导出模型证据的界。