[论文解读] Robust, Accurate Stochastic Optimization for Variational Inference

Akash Kumar Dhaka, Alejandro Catalina+4 more|arXiv (Cornell University)|Sep 1, 2020

Statistical Methods and Inference参考文献 55被引用 13

一句话总结

该论文通过将优化过程建模为马尔可夫链，提出了一种鲁棒且精确的随机优化框架用于变分推断，实现了收敛性诊断和对噪声目标评估具有鲁棒性的新型停止规则。该方法通过迭代平均和基于蒙特卡洛标准误（MCSE）的停止准则，显著降低了近似误差，提升了重要性采样可靠性，从而提高了变分近似的准确性，尤其在高维情况下表现更优。

ABSTRACT

We consider the problem of fitting variational posterior approximations using stochastic optimization methods. The performance of these approximations depends on (1) how well the variational family matches the true posterior distribution,(2) the choice of divergence, and (3) the optimization of the variational objective. We show that even in the best-case scenario when the exact posterior belongs to the assumed variational family, common stochastic optimization methods lead to poor variational approximations if the problem dimension is moderately large. We also demonstrate that these methods are not robust across diverse model types. Motivated by these findings, we develop a more robust and accurate stochastic optimization framework by viewing the underlying optimization algorithm as producing a Markov chain. Our approach is theoretically motivated and includes a diagnostic for convergence and a novel stopping rule, both of which are robust to noisy evaluations of the objective function. We show empirically that the proposed framework works well on a diverse set of models: it can automatically detect stochastic optimization failure or inaccurate variational approximation

研究动机与目标

• 解决当后验维度中等偏大时，标准随机优化在变分推断中精度较差的问题，即使真实后验位于变分族内。
• 开发一种对噪声目标函数评估和超参数敏感性具有鲁棒性的更稳健的优化框架。
• 通过 $\widehat{R}$ 和蒙特卡洛标准误（MCSE）等诊断工具，实现在优化过程中的可靠收敛检测与早期停止。
• 通过结合迭代平均与稳健的停止规则，提升统计推断和重要性采样中变分近似质量。
• 利用多条并行马尔可夫链与 $\widehat{R}$ 统计量检测优化失败，如多模态或过早收敛。

提出的方法

• 将随机优化过程建模为马尔可夫链，以支持收敛性诊断与鲁棒推断。
• 提出一种基于变分目标函数蒙特卡洛标准误（MCSE）的新型停止规则，对噪声评估具有鲁棒性。
• 应用迭代平均（IA）以提升最终变分参数估计的准确性，超越仅使用最后迭代值。
• 使用潜在尺度缩减因子 ($\widehat{R}$) 作为诊断工具，检测优化失败，如多模态或非收敛。
• 结合基于MCSE的停止规则与迭代平均，实现更高精度的后验近似，尤其在高维设置下表现更优。
• 使用多条并行链（$J > 1$）检测收敛问题，并在多模态优化景观中提升鲁棒性。

实验结果

研究问题

• RQ1 在真实后验位于变分族内的情况下，变分推断中的随机优化能否在高维模型中可靠收敛至精确的后验近似？
• RQ2 如何检测并防止因噪声目标函数评估导致的随机优化过早终止？
• RQ3 与仅使用最后迭代值相比，迭代平均在多大程度上提升了变分近似的准确性？
• RQ4 $\widehat{R}$ 能否有效诊断随机变分推断中因多模态或非收敛导致的优化失败？
• RQ5 与标准 $\Delta$ELBO 相比，所提出的基于MCSE的停止规则在不同模型类型中的收敛精度与鲁棒性如何？

主要发现

• 在具有强后验相关性的高维线性回归中，该框架将变分近似误差降低了约两个数量级，尤其在结合迭代平均与MCSE停止规则时效果显著。
• 使用MCSE作为停止准则，相比容易因噪声评估而过早终止的 $\Delta$ELBO，能显著提升后验均值与协方差估计的准确性。
• $\widehat{R}$ 统计量成功检测到优化失败，如在多模态模型中收敛至不同局部最优解，其在多模态MNIST100模型中的最大值为4.8。
• 迭代平均提升了重要性采样可靠性，即使在 $P=60$ 维时 $\hat{k}$ 统计量仍低于0.5，而仅使用最后迭代值在 $P=10$ 时已超过0.7的阈值。
• MCSE停止规则仅需约三分之一于 $\Delta$ELBO 的迭代次数，却实现了更高的精度与更低的 $\hat{k}$，证明了其更高的效率与鲁棒性。
• 在真实数据实验中，迭代平均在矩估计与 $\hat{k}$ 统计量方面始终优于最后迭代值，仅在多模态MNIST100案例中最后迭代值略胜一筹，但两者表现均不佳。