[论文解读] Variational Optimization

Joe Staines, David Barber|arXiv (Cornell University)|Dec 18, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用 7

一句话总结

该论文提出了变分优化（Variational Optimization, VO），一种通过使用最优值的变分下界，为非可微或离散优化问题构建可微代理目标的方法。主要贡献在于，在温和条件下，变分目标是可微的，且当变分分布为期望仿射时，该目标可为凹函数，从而使得原本难以处理的问题能够通过梯度方法进行优化。该方法在稀疏学习和支持向量机中已取得成功应用。

ABSTRACT

We discuss a general technique that can be used to form a differentiable bound on the optima of non-differentiable or discrete objective functions. We form a unified description of these methods and consider under which circumstances the bound is concave. In particular we consider two concrete applications of the method, namely sparse learning and support vector classification.

研究动机与目标

• 解决在梯度方法失效时，对非可微或离散目标函数进行优化的挑战。
• 开发一种通用的、可微的代理目标，从下方界定向真实最优值。
• 确定变分界为凹函数的条件，从而支持使用凸优化技术。
• 在真实世界问题（如套索回归和软间隔SVM）上展示该方法的有效性。
• 建立变分优化与分布估计算法（EDAs）之间的联系，将VO定位为基于采样的优化的合理框架。

提出的方法

• 通过解空间 $ \mathcal{C} $ 上的变分分布 $ p(x|\theta) $，对最优值 $ f^* = \text{max}_x f(x) $ 构建下界，形式为期望 $ E(\theta) = \big\langle f(x) \big\rangle_{p(x|\theta)} $。
• 通过验证 $ f(x)p(x|\theta) $ 的弱可积性和控制条件，确保 $ E(\theta) $ 关于 $ \theta $ 的可微性，从而允许通过导数与积分交换实现梯度计算。
• 当 $ f(x) $ 为凹函数且 $ p(x|\theta) $ 为期望仿射时，即 $ f(x) $ 的期望可重写为固定分布 $ q(z) $ 的线性变换，此时 $ E(\theta) $ 关于 $ \theta $ 为凹函数。
• 将该方法应用于高斯变分族，表明对于多元正态分布 $ p(x|\theta) $，可通过标准正态变量重参数化期望，从而实现高效梯度计算。
• 采用自由能方法将VO与统计物理联系起来，通过最小化 $ \text{KL}(q||\tilde{p}) $ 实现，其中 $ \tilde{p}(x) \triangleq \frac{1}{Z} e^{\beta f(x)} $，$ \beta $ 控制近似的锐度。
• 将VO与估计分布算法（EDAs）关联起来，表明使用基于采样的期望估计的VO是EDAs类方法的推广。

实验结果

研究问题

• RQ1 在 $ f(x) $ 非可微或 $ x $ 为离散变量时，变分下界 $ E(\theta) $ 在何种条件下关于 $ \theta $ 可微？
• RQ2 在何种条件下，变分目标 $ E(\theta) $ 关于 $ \theta $ 为凹函数，从而支持使用凸优化策略？
• RQ3 如何将变分优化应用于离散或非可微问题，如稀疏学习和支撑向量机？
• RQ4 变分优化与自由能最小化或估计分布算法之间存在何种关系？
• RQ5 即使原始目标函数难以处理，变分优化能否提供对真实最优值 $ f^* $ 的可证明下界？

主要发现

• 在弱条件（如可积性和导数控制）下，变分目标 $ E(\theta) = \big\langle f(x) \big\rangle_{p(x|\theta)} $ 关于 $ \theta $ 可微，从而可在非可微的 $ f(x) $ 上实现基于梯度的优化。
• 当 $ f(x) $ 为凹函数且 $ p(x|\theta) $ 为期望仿射时，下界 $ E(\theta) $ 关于 $ \theta $ 为凹函数，保持了凸性，从而可实现高效最大化。
• 对于高斯变分族，可通过标准正态变量对期望进行重参数化，从而利用重参数化技巧实现高效且稳定的梯度计算。
• 在协方差固定的情况下，最小化自由能等价于最大化变分下界，将VO与最大后验估计联系起来。
• 该方法可提供对真实最优值 $ f^* $ 的下界，且可通过提高变分分布的集中度来收紧该下界。
• 实验结果表明，VO即使在原始目标函数非可微或离散时，也能成功逼近套索回归和软间隔SVM问题的解。