[论文解读] On perturbed proximal gradient algorithms

Yves F. Atchadé, Gersende Fort+1 more|arXiv (Cornell University)|Feb 11, 2014

Stochastic Gradient Optimization Techniques参考文献 44被引用 50

一句话总结

本文提出了一种扰动近端梯度算法，用于解决目标函数梯度难以计算的优化问题，其中梯度通过蒙特卡洛方法（包括MCMC）进行近似。该算法在批量大小递增和恒定两种情况下均实现了收敛性，并为平均迭代序列提供了非渐近界，涵盖有偏和无偏的蒙特卡洛近似。

ABSTRACT

We study a version of the proximal gradient algorithm for which the gradient is intractable and is approximated by Monte Carlo methods (and in particular Markov Chain Monte Carlo). We derive conditions on the step size and the Monte Carlo batch size under which convergence is guaranteed: both increasing batch size and constant batch size are considered. We also derive non-asymptotic bounds for an averaged version. Our results cover both the cases of biased and unbiased Monte Carlo approximation. To support our findings, we discuss the inference of a sparse generalized linear model with random effect and the problem of learning the edge structure and parameters of sparse undirected graphical models.

研究动机与目标

• 解决由于高维积分导致目标函数梯度难以计算的优化问题，这类问题在贝叶斯网络和具有潜变量的模型中很常见。
• 提出一种使用难以计算梯度的蒙特卡洛近似的近端梯度算法，即使存在估计误差也能保证收敛。
• 在批量大小递增和恒定两种情况下，为收敛性提供理论保证，涵盖有偏和无偏近似。
• 为迭代序列的平均版本推导出非渐近的 $L^q$-矩界，支持有限样本下的实际实现。
• 在真实统计问题上验证该框架：具有随机效应的稀疏广义线性模型中的推断，以及稀疏无向高斯图模型的边结构学习。

提出的方法

• 提出一种扰动近端梯度算法，其中真实梯度 $\nabla f(\theta_n)$ 被蒙特卡洛近似 $H_{n+1}$ 替代，形成标准近端梯度方法的随机变体。
• 使用近端映射 $\operatorname{Prox}_{\gamma,g}(\theta) = \arg\min_{\vartheta} \left\{ g(\vartheta) + \frac{1}{2\gamma} \|\vartheta - \theta\|^2 \right\}$ 来处理非光滑正则化项。
• 在步长 $\gamma_n \in (0, 2/L)$ 和蒙特卡洛样本批量大小的条件下建立收敛性，确保算法在梯度近似误差存在的情况下仍保持稳定。
• 应用闵可夫斯基不等式和柯西-施瓦茨不等式来控制迭代序列和误差项的 $L^q$-矩，从而实现非渐近分析。
• 利用鞅差序列和矩界证明在近似误差满足适当条件时，迭代序列以概率1收敛。
• 通过梯度近似误差的加权和与稳定性项，推导出平均迭代序列与最优解之间期望偏差的界。

实验结果

研究问题

• RQ1 在何种步长和蒙特卡洛批量大小条件下，扰动近端梯度算法能收敛到 $F = f + g$ 的极小值点？
• RQ2 对梯度的有偏和无偏蒙特卡洛近似如何影响近端梯度算法的收敛性和稳定性？
• RQ3 在存在噪声梯度估计的情况下，能否为迭代序列的平均版本推导出非渐近的 $L^q$-矩界？
• RQ4 当通过MCMC采样估计梯度时，该算法的收敛性可提供哪些理论保证？
• RQ5 理论结果如何应用于真实世界统计模型，如具有随机效应的稀疏广义线性模型和无向图模型？

主要发现

• 当步长 $\gamma_n$ 属于 $ (0, 2/L) $ 且远离零时，即使存在蒙特卡洛梯度近似，扰动近端梯度算法仍以概率1收敛到 $F = f + g$ 的极小值点。
• 在批量大小递增和恒定两种情况下，只要批量大小相对于迭代次数足够快地增长，即可保证收敛。
• 为平均迭代序列推导出非渐近的 $L^q$-矩界，表明与最优解的期望偏差以依赖于批量大小和步长的速率衰减。
• 该分析涵盖梯度的有偏和无偏蒙特卡洛近似，将近端方法的适用范围扩展到具有难以计算似然函数的问题。
• 该理论框架在两个统计问题上得到验证：具有随机效应的稀疏广义线性模型中的推断，以及稀疏无向高斯图模型的结构与参数学习。
• 本文证明，通过矩界控制梯度近似误差的期望范数，从而在MCMC链满足弱正则性条件时，确保算法的稳定性和收敛性。