[论文解读] Stochastic Variational Optimization

Thomas Bird, Julius Kunze+1 more|arXiv (Cornell University)|Sep 13, 2018

Metaheuristic Optimization Algorithms Research参考文献 9被引用 15

一句话总结

本文提出了随机变分优化（SVO）作为非可微或离散目标的可微上界，表明高斯扰动（Gaussian Perturbation）和自然进化策略（Natural Evolution Strategies）是使用高斯采样的SVO的特例。研究发现，对于可微目标，随机方向导数（Stochastic Directional Derivatives）由于方差显著更低，优于基于SVO的方法，因此在并行随机梯度下降中更具优势。

ABSTRACT

Variational Optimization forms a differentiable upper bound on an objective. We show that approaches such as Natural Evolution Strategies and Gaussian Perturbation, are special cases of Variational Optimization in which the expectations are approximated by Gaussian sampling. These approaches are of particular interest because they are parallelizable. We calculate the approximate bias and variance of the corresponding gradient estimators and demonstrate that using antithetic sampling or a baseline is crucial to mitigate their problems. We contrast these methods with an alternative parallelizable method, namely Directional Derivatives. We conclude that, for differentiable objectives, using Directional Derivatives is preferable to using Variational Optimization to perform parallel Stochastic Gradient Descent.

研究动机与目标

• 将随机变分优化（SVO）形式化为一种原则性、可微的上界，用于优化不可微或离散目标。
• 分析高斯扰动（GP）梯度估计器的偏差与方差，表明高方差限制了其在无方差缩减情况下的实用性。
• 评估对偶采样（antithetic sampling）和基线方法在降低GP估计器方差方面的有效性，证明其在稳定训练中的关键作用。
• 将基于SVO的方法与基于方向导数（DD）的另一种可并行梯度估计器进行比较，尤其针对可微目标。
• 确立对于可微目标，DD优于SVO，因其方差更低且无需调节噪声尺度超参数。

提出的方法

• 将SVO表述为最小化上界 $ U(\theta) = \mathbb{E}_{p(x|\theta)}[f(x)] $，其中 $ \theta $ 参数化变分分布 $ p(x|\theta) $，从而实现可微优化。
• 通过蒙特卡洛采样近似 $ U(\theta) $ 的梯度，得到 $ \nabla_\theta U \approx \frac{1}{S} \sum_{s=1}^S f(x^s) \nabla_\theta \log p(x^s|\theta) $，其中 $ x^s \sim p(x|\theta) $。
• 通过设定 $ p(x|\theta) = \mathcal{N}(\mu, \sigma^2 I) $，将SVO特化为高斯扰动，导出GP估计器 $ \nabla_\mu U = \frac{1}{\sigma^2} \mathbb{E}_\epsilon [\epsilon f(\mu + \epsilon)] $。
• 通过配对 $ \epsilon $ 与 $ -\epsilon $ 引入对偶采样以降低GP估计器的方差，并推导出相应方差缩减的近似表达式。
• 采用移动平均基线进一步降低GP估计器的方差，结果表明其性能与对偶采样相当。
• 提出并分析随机方向导数（DD）估计器作为替代方案，通过方向扰动计算梯度，避免了对噪声尺度超参数的依赖。

实验结果

研究问题

• RQ1 随机变分优化（SVO）与现有进化方法及梯度近似方法（如高斯扰动和自然进化策略）有何关系？
• RQ2 高斯扰动梯度估计器的偏差与方差结构如何？对偶采样与基线如何影响其偏差与方差？
• RQ3 使用对偶采样的GP估计器与SPSA梯度估计器相比性能如何？
• RQ4 对于可微目标，是否存在一种可并行的梯度估计器，其性能优于基于SVO的方法？
• RQ5 随机方向导数能否提供一种无超参数、方差更低的SVO替代方案，尤其针对高斯扰动？

主要发现

• 高斯扰动（GP）估计器是当变分分布为高斯分布时SVO的一个特例，其方差较高，除非通过使用对偶采样或基线进行缓解。
• 对偶采样能显著降低GP估计器的方差，且不增加偏差，其方差缩减效果可被推导出的解析表达式良好近似。
• 在GP估计器中使用基线可实现与对偶采样相当的方差缩减效果，使方法在合理调参下具备可行性。
• 使用对偶采样的GP估计器与SPSA梯度估计器密切相关，二者具有相似的偏差与方差特性。
• 对于可微目标，随机方向导数（DD）估计器的方差显著低于标准GP估计器，在合成实验与神经网络实验中均优于使用对偶采样的GP方法。
• 在MNIST数据集上训练一个3层全连接网络时，DD方法在收敛速度与损失值上均优于无对偶采样的GP方法，且与使用对偶采样的GP方法相比达到或超越其性能。