[论文解读] Zeroth-order Asynchronous Doubly Stochastic Algorithm with Variance Reduction

Bin Gu, Zhouyuan Huo+1 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Bandit Algorithms Research参考文献 18被引用 11

一句话总结

本文提出 AsyDSZOVR，一种异步双重随机零阶优化算法，通过集成方差缩减技术，实现了 $O(1/T)$ 的收敛速率，显著优于现有异步及顺序随机零阶方法的 $O(1/\sqrt{T})$ 速率。该方法通过在无锁并行环境中同时采样数据小批量和坐标子集，实现了在无梯度设置下的高效大规模优化。

ABSTRACT

Zeroth-order (derivative-free) optimization attracts a lot of attention in machine learning, because explicit gradient calculations may be computationally expensive or infeasible. To handle large scale problems both in volume and dimension, recently asynchronous doubly stochastic zeroth-order algorithms were proposed. The convergence rate of existing asynchronous doubly stochastic zeroth order algorithms is $O(\frac{1}{\sqrt{T}})$ (also for the sequential stochastic zeroth-order optimization algorithms). In this paper, we focus on the finite sums of smooth but not necessarily convex functions, and propose an asynchronous doubly stochastic zeroth-order optimization algorithm using the accelerated technology of variance reduction (AsyDSZOVR). Rigorous theoretical analysis show that the convergence rate can be improved from $O(\frac{1}{\sqrt{T}})$ the best result of existing algorithms to $O(\frac{1}{T})$. Also our theoretical results is an improvement to the ones of the sequential stochastic zeroth-order optimization algorithms.

研究动机与目标

• 解决大规模无梯度机器学习问题中缺乏快速收敛的异步零阶优化方法的问题。
• 克服现有 $O(1/\sqrt{T})$ 速率的随机零阶算法在顺序与异步设置下收敛缓慢的问题。
• 设计一种可扩展的无锁并行算法，能够在无需梯度信息的情况下处理高维与高容量数据。
• 通过在异步双重随机框架中应用方差缩减技术，实现加速收敛。

提出的方法

• 提出 AsyDSZOVR，一种异步、双重随机零阶算法，可在并行环境中随机采样数据小批量和坐标子集。
• 采用基于控制变量机制的方差缩减梯度估计器，以降低梯度近似中的噪声。
• 使用带自适应步长 $\gamma = \frac{u_0 b}{\widetilde{L} l^\alpha}$ 和类似动量项的递归更新规则，以加速收敛。
• 引入基于李雅普诺夫函数的分析方法，以界定梯度范数的期望值，确保在异步更新下的收敛性。
• 推导出每次迭代的最小进步下界 $\widetilde{\Gamma}$，用于建立 $O(1/T)$ 的收敛速率。
• 采用无锁并行计算模型，线程独立读取、计算并更新共享参数，无需同步。

实验结果

研究问题

• RQ1 能否有效将方差缩减技术适配到异步零阶优化中，以实现更快的收敛？
• RQ2 异步双重随机零阶算法结合方差缩减后的理论收敛速率是多少？
• RQ3 在顺序与异步设置下，是否能够将收敛速率提升至 $O(1/\sqrt{T})$ 以上？
• RQ4 所提方法在处理大规模问题时，如何应对数据量与维度的挑战？
• RQ5 在无显式梯度计算的无锁异步并行环境中，何种条件可确保收敛？

主要发现

• 所提出的 AsyDSZOVR 算法实现了 $O(1/T)$ 的收敛速率，优于现有异步与顺序随机零阶算法的 $O(1/\sqrt{T})$ 速率。
• 理论分析证明，期望梯度范数以 $O(1/T)$ 速率衰减，当 $\omega = 0$ 时，有界 $\frac{1}{T}\sum_{s=0}^{S-1}\sum_{t=0}^{m-1}\mathbb{E}\left\|\nabla f(x^{s+1}_t)\right\|^2 \leq \frac{\widetilde{L}l^\alpha(f(x^0) - \mathbb{E}(f(x^S)))}{\sigma b T}$。
• 即使在无梯度信息的条件下，通过方差缩减与自适应步长调度，仍可实现收敛速率的提升。
• 该算法在共享内存、无锁环境中具有可扩展性与高效性，支持无同步开销的并行更新。
• 分析建立了下界 $\widetilde{\Gamma} \geq \frac{\sigma b}{\widetilde{L}l^\alpha}$，在适当参数选择下可确保 $O(1/T)$ 的收敛性。
• 该方法适用于光滑函数的有限和，即使函数可能非凸，涵盖逻辑回归与岭回归等常见机器学习问题。