[论文解读] Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework

Pranay Sharma, Kaidi Xu+4 more|arXiv (Cornell University)|Dec 21, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用 4

一句话总结

该论文提出了一种新颖的零阶混合梯度估计器（HGE），通过结合随机梯度估计与坐标梯度估计，在最小化函数查询次数的同时降低方差。由此产生的 ZO-HGD 方法在凸情况下达到最优收敛速率，并将先前的非凸结果推广至更一般情形，通过坐标重要性采样与混合梯度方差减少技术实现。

ABSTRACT

In this work, we focus on the study of stochastic zeroth-order (ZO) optimization which does not require first-order gradient information and uses only function evaluations. The problem of ZO optimization has emerged in many recent machine learning applications, where the gradient of the objective function is either unavailable or difficult to compute. In such cases, we can approximate the full gradients or stochastic gradients through function value based gradient estimates. Here, we propose a novel hybrid gradient estimator (HGE), which takes advantage of the query-efficiency of random gradient estimates as well as the variance-reduction of coordinate-wise gradient estimates. We show that with a graceful design in coordinate importance sampling, the proposed HGE-based ZO optimization method is efficient both in terms of iteration complexity as well as function query cost. We provide a thorough theoretical analysis of the convergence of our proposed method for non-convex, convex, and strongly-convex optimization. We show that the convergence rate that we derive generalizes the results for some prominent existing methods in the nonconvex case, and matches the optimal result in the convex case. We also corroborate the theory with a real-world black-box attack generation application to demonstrate the empirical advantage of our method over state-of-the-art ZO optimization approaches.

研究动机与目标

• 解决现有零阶（ZO）优化方法在黑箱设置下方差高且查询效率低的问题。
• 设计一种混合梯度估计器（HGE），通过结合随机梯度估计（查询高效）与坐标梯度估计（低方差），在查询效率与方差减少之间实现平衡。
• 引入坐标重要性采样策略，优先选择梯度幅值较大的坐标，从而在固定查询预算下进一步降低梯度估计器的方差。
• 在标准光滑性与有界性假设下，为非凸、凸及强凸问题建立理论收敛保证。
• 在深度神经网络的真实黑箱攻击生成任务中，验证所提方法的实证优越性。

提出的方法

• 提出一种混合梯度估计器（HGE），通过线性组合随机梯度估计（查询高效）与坐标梯度估计（低方差）实现。
• 设计一种坐标重要性采样策略，优先选择梯度幅值较大的坐标，从而在不增加查询成本的前提下降低估计器方差。
• 将 HGE 集成至零阶混合梯度下降（ZO-HGD）框架中，采用随机与坐标基估计的加权组合。
• 采用递减步长规则与自适应组合系数，平衡两种估计类型，确保收敛性。
• 理论分析基于函数光滑性、梯度有界性及次高斯噪声的假设，推导收敛速率。
• 借鉴一阶方法（如 SVRG、SPIDER）的方差减少技术，并将其适配至仅依赖函数值梯度的 ZO 设置。

实验结果

研究问题

• RQ1 能否设计一种混合梯度估计器，以在零阶优化中同时降低方差并保持查询效率？
• RQ2 在固定查询预算下，坐标重要性采样如何提升 ZO 梯度估计器的性能？
• RQ3 所提 ZO-HGD 方法在非凸、凸及强凸设置下的理论收敛速率为何？
• RQ4 与最先进 ZO 方法相比，该方法是否达到最优或近似最优的收敛速率？
• RQ5 ZO-HGD 框架能否在实际黑箱攻击生成任务中超越现有 ZO 方法？

主要发现

• 所提 ZO-HGD 方法在凸函数下的收敛速率为 $ O\big((G^2 + \rho^2)/(\ar{\rho} T) \frac{1 + d/n_r}{1 + \bar{c}(1 + d/n_r)}\big) $，与一阶方法的最优速率一致。
• 在非凸问题中，该方法的收敛速率优于现有 ZO-SGD 与 ZO-SVRG 方法，尤其在高维设置下表现更优。
• 在强凸情况下，该方法实现了最优收敛速率，其速率取决于随机与坐标基梯度估计之间的平衡。
• 理论分析证实，该混合估计器在保持低查询复杂度的同时有效降低方差，通过有界期望梯度范数与迭代点的分析得到验证。
• 在黑箱对抗攻击生成任务中的实证结果表明，ZO-HGD 在查询效率与攻击成功率方面均优于最先进 ZO 方法。
• 选择 $ \bar{c} $（最小采样概率）与 $ \bar{\rho} $（光滑性参数）对收敛性有关键影响，最优调参可实现近似最优速率。