[论文解读] Unbiased Simulation for Optimizing Stochastic Function Compositions

José Blanchet, Donald Goldfarb+3 more|arXiv (Cornell University)|Nov 20, 2017

Stochastic Gradient Optimization Techniques参考文献 1被引用 12

一句话总结

本文提出了一种用于优化随机函数复合的无偏梯度模拟算法，利用多级蒙特卡洛方法实现有限方差、低成本的梯度估计。当与方差减少方法（如SVRG和SCSG）结合时，该方法在强凸性条件下实现了期望意义下和几乎必然的线性收敛，优于有偏替代方法，在Cox的部分似然和条件随机场任务中表现更优。

ABSTRACT

In this paper, we introduce an unbiased gradient simulation algorithms for solving convex optimization problem with stochastic function compositions. We show that the unbiased gradient generated from the algorithm has finite variance and finite expected computation cost. We then combined the unbiased gradient simulation with two variance reduced algorithms (namely SVRG and SCSG) and showed that the proposed optimization algorithms based on unbiased gradient simulations exhibit satisfactory convergence properties. Specifically, in the SVRG case, the algorithm with simulated gradient can be shown to converge linearly to optima in expectation and almost surely under strong convexity. Finally, for the numerical experiment,we applied the algorithms to two important cases of stochastic function compositions optimization: maximizing the Cox's partial likelihood model and training conditional random fields.

研究动机与目标

• 解决现有有偏随机梯度方法在随机复合优化问题中计算效率低下的问题。
• 开发一种无偏梯度模拟技术，以降低方差并确保有限的期望计算成本。
• 将无偏梯度模拟与方差减少算法（SVRG、SCSG）结合，以提升收敛速率。
• 将该框架应用于实际问题，如Cox部分似然最大化和条件随机场训练。
• 通过所提出的基于模拟的优化框架，证明在强凸性条件下，期望意义下和几乎必然的线性收敛。

提出的方法

• 采用多级蒙特卡洛结合偏差消除，为随机复合问题模拟无偏随机梯度。
• 构建一种模拟算法，保持有限的二阶矩和有限的期望计算成本，且与函数维度无关。
• 将无偏梯度模拟与SVRG和SCSG结合，以降低方差并加速收敛。
• 采用基础层模拟策略以稳定梯度估计并确保收敛性保证。
• 通过压缩风险集依赖关系，将该方法应用于具有累积和结构的问题（如Cox部分似然），实现高效优化。
• 利用动态规划（如Viterbi算法）在CRF训练中高效计算完整梯度，从而与基于模拟的方法进行比较。

实验结果

研究问题

• RQ1 能否为具有有限方差和有限期望计算成本的随机函数复合构造无偏梯度模拟？
• RQ2 将无偏梯度模拟与SVRG或SCSG结合，是否能在强凸性条件下实现期望意义下和几乎必然的线性收敛？
• RQ3 与有偏算法（如compositional-SVRG-1）相比，所提方法在收敛速度和迭代复杂度方面表现如何？
• RQ4 该框架能否高效处理具有累积和结构的问题（如Cox部分似然），其中完整梯度计算成本高昂？
• RQ5 在大规模设置下，模拟方差和缺乏完整梯度评估对收敛行为有何影响？

主要发现

• 所提出的无偏梯度模拟算法产生的梯度具有有限方差和有限的期望计算成本，且与目标函数维度无关。
• 当与SVRG结合时，该算法在强凸性条件下实现了期望意义下和几乎必然的线性收敛，且收敛速率与分量函数数量m和n无关。
• 在Cox部分似然实验中，Simulated SVRG算法优于compositional-SVRG-1和梯度下降，表现出线性收敛性，并对大规模累积和结构具有鲁棒性。
• 在CRF训练任务中，Simulated SVRG再次表现出最佳性能，尽管由于SCSG缺乏完整梯度评估，梯度下降在大规模数据集上优于Simulated SCSG。
• 该方法成功压缩了Cox模型中的累积和结构，实现了高效优化，而传统方法在此类问题中常面临计算瓶颈。
• 数值结果表明，由于梯度估计方差的影响，函数值在某些情况下可能出现上升，尤其在高方差模拟设置下。