[论文解读] Nonconvex Zeroth-Order Stochastic ADMM Methods with Lower Function Query Complexity

Feihu Huang, Shangqian Gao+2 more|arXiv (Cornell University)|Jul 30, 2019

Stochastic Gradient Optimization Techniques参考文献 45被引用 5

一句话总结

本文提出了 ZO-SPIDER-ADMM 和 ZOO-ADMM+——两种新颖的非凸零阶随机 ADMM 方法，用于求解具有多个非光滑惩罚项的有限和与在线优化问题。通过利用方差减少的梯度估计和坐标轴平滑技术，该方法分别实现了 $O(nd + dn^{1/2}\rho^{-1})$ 和 $O(d\rho^{-3/2})$ 的改进函数查询复杂度，相较于先前工作分别提升了 $O(d^{1/3}n^{1/6})$ 和 $O(\rho^{-1/2})$ 的因子。该方法在黑箱对抗攻击任务中得到验证，展现出高效性与低查询成本。

ABSTRACT

Zeroth-order (a.k.a, derivative-free) methods are a class of effective optimization methods for solving complex machine learning problems, where gradients of the objective functions are not available or computationally prohibitive. Recently, although many zeroth-order methods have been developed, these approaches still have two main drawbacks: 1) high function query complexity; 2) not being well suitable for solving the problems with complex penalties and constraints. To address these challenging drawbacks, in this paper, we propose a class of faster zeroth-order stochastic alternating direction method of multipliers (ADMM) methods (ZO-SPIDER-ADMM) to solve the nonconvex finite-sum problems with multiple nonsmooth penalties. Moreover, we prove that the ZO-SPIDER-ADMM methods can achieve a lower function query complexity of $O(nd+dn^{\frac{1}{2}}ε^{-1})$ for finding an $ε$-stationary point, which improves the existing best nonconvex zeroth-order ADMM methods by a factor of $O(d^{\frac{1}{3}}n^{\frac{1}{6}})$, where $n$ and $d$ denote the sample size and data dimension, respectively. At the same time, we propose a class of faster zeroth-order online ADMM methods (ZOO-ADMM+) to solve the nonconvex online problems with multiple nonsmooth penalties. We also prove that the proposed ZOO-ADMM+ methods achieve a lower function query complexity of $O(dε^{-\frac{3}{2}})$, which improves the existing best result by a factor of $O(ε^{-\frac{1}{2}})$. Extensive experimental results on the structure adversarial attack on black-box deep neural networks demonstrate the efficiency of our new algorithms.

研究动机与目标

• 解决现有零阶 ADMM 方法在具有复杂非光滑惩罚项的非凸设置下函数查询复杂度过高且适用性有限的问题。
• 开发适用于具有多个非光滑正则化项的有限和与在线优化问题的更快零阶随机 ADMM 算法。
• 在非凸问题中寻找 $\epsilon$-驻点时，实现更优的理论收敛速率与更低的函数查询复杂度。
• 通过减少所需函数查询次数，实现对深度神经网络的高效黑箱对抗攻击。

提出的方法

• 为有限和问题提出 ZO-SPIDER-ADMM，采用坐标轴梯度估计器（CooGE）并利用 SPIDER 框架实现方差减少，以降低梯度估计误差。
• 将随机路径积分差分估计（SARAH/SPIDER）集成到 ADMM 框架中，实现在非凸有限和优化中更低的函数查询复杂度。
• 为在线非凸问题设计 ZOO-ADMM+，采用类似的方差减少技术，实现更快收敛与更低查询成本。
• 结合高斯平滑与均匀平滑梯度估计器（GauGE, UniGE）以及坐标轴估计，提升梯度近似精度，且无需访问梯度信息。
• 采用混合步长与惩罚参数策略，其中 $\eta = \frac{\alpha\sigma_{\min}(G)}{4L}$ 与 $\rho = \frac{2\sqrt{237}\kappa_GL}{\sigma^{A}_{\min}\alpha}$，以平衡收敛性与稳定性。
• 基于期望次梯度范数与约束违反度的理论分析，界定与 KKT 点的距离，确保收敛至 $\epsilon$-驻点解。

实验结果

研究问题

• RQ1 零阶 ADMM 方法是否能在具有多个非光滑惩罚项的非凸有限和问题中实现更低的函数查询复杂度？
• RQ2 通过 SPIDER 风格估计实现的方差减少如何提升零阶 ADMM 在无导数优化中的收敛性能？
• RQ3 能否设计出具有可证明更低查询复杂度的在线零阶 ADMM 方法，优于现有方法？
• RQ4 这些方法在深度神经网络的黑箱对抗攻击中，能在多大程度上减少函数查询次数？

主要发现

• ZO-SPIDER-ADMM 方法在非凸有限和问题中寻找 $\epsilon$-驻点时，实现了 $O(nd + dn^{1/2}\epsilon^{-1})$ 的函数查询复杂度，相较于先前方法提升了 $O(d^{1/3}n^{1/6})$ 的因子。
• ZOO-ADMM+ 方法在在线非凸问题中实现了 $O(d\epsilon^{-3/2})$ 的函数查询复杂度，相较于最优现有结果提升了 $O(\epsilon^{-1/2})$ 的因子。
• 理论分析表明，期望次梯度范数与约束违反度收敛至 $O(1/K) + O(d^2\nu^2) + O(d\mu^2) + O(1/b_1)$，确保收敛至 $\epsilon$-驻点。
• 所提方法在黑箱对抗攻击任务中经实证验证，展现出优于基线零阶方法的效率与更低的查询成本。
• 通过精心平衡步长与惩罚参数，算法在非凸与非光滑设置下保持稳定与收敛。
• 分析表明，关键参数如 $\beta_{\max}$、$\gamma$ 以及 $\vartheta_1, \vartheta_2$ 均独立于 $n$ 与 $K$ 有界，确保了可扩展性。