[论文解读] Oracle Complexity in Nonsmooth Nonconvex Optimization

Guy Kornowski, Ohad Shamir|arXiv (Cornell University)|Apr 14, 2021

Stochastic Gradient Optimization Techniques参考文献 34被引用 6

一句话总结

本文研究非光滑非凸优化中的Oracle复杂度，证明由于局部信息访问的固有局限性，寻找近似平稳点在根本上效率低下。此外，本文建立了在使用平滑技术时平滑质量与Oracle复杂度之间的权衡，表明在温和假设下随机平滑是最优的，但除非Oracle成本呈指数级增长，否则维度相关因子会限制效率。

ABSTRACT

It is well-known that given a smooth, bounded-from-below, and possibly nonconvex function, standard gradient-based methods can find $ε$-stationary points (with gradient norm less than $ε$) in $\mathcal{O}(1/ε^2)$ iterations. However, many important nonconvex optimization problems, such as those associated with training modern neural networks, are inherently not smooth, making these results inapplicable. In this paper, we study nonsmooth nonconvex optimization from an oracle complexity viewpoint, where the algorithm is assumed to be given access only to local information about the function at various points. We provide two main results: First, we consider the problem of getting near $ε$-stationary points. This is perhaps the most natural relaxation of finding $ε$-stationary points, which is impossible in the nonsmooth nonconvex case. We prove that this relaxed goal cannot be achieved efficiently, for any distance and $ε$ smaller than some constants. Our second result deals with the possibility of tackling nonsmooth nonconvex optimization by reduction to smooth optimization: Namely, applying smooth optimization methods on a smooth approximation of the objective function. For this approach, we prove under a mild assumption an inherent trade-off between oracle complexity and smoothness: On the one hand, smoothing a nonsmooth nonconvex function can be done very efficiently (e.g., by randomized smoothing), but with dimension-dependent factors in the smoothness parameter, which can strongly affect iteration complexity when plugging into standard smooth optimization methods. On the other hand, these dimension factors can be eliminated with suitable smoothing methods, but only by making the oracle complexity of the smoothing process exponentially large.

研究动机与目标

• 分析仅通过局部Oracle访问在非光滑非凸优化中寻找近似平稳点的可行性。
• 研究将非光滑函数平滑后是否能通过标准光滑方法实现高效优化。
• 建立平滑过程中平滑质量与Oracle复杂度之间的基本权衡。
• 评估在温和假设下随机平滑的最优性。
• 识别当优化误差和梯度最小化不可行时，标准平稳性的可行替代方案。

提出的方法

• 使用Oracle复杂度框架对仅通过局部函数查询的黑箱优化进行建模，假设可通过Clarke理论访问函数值和广义梯度。
• 构建一个困难实例，其中函数在局部为常数但全局非恒定，利用该特性证明高效恢复近似平稳点的不可能性。
• 分析随机平滑作为将非光滑函数近似为光滑函数的方法，量化平滑质量与Oracle成本之间的权衡。
• 推导平滑函数梯度Lipschitz常数的界，表明除非Oracle复杂度呈指数增长，否则会出现维度相关因子。
• 使用集中不等式和概率论方法，对定义域中某条路径上原始函数与平滑函数之间的差异进行有界。
• 证明任何保持有界查询距离和平移不变性的平滑方法，除非Oracle成本呈指数增长，否则必须承受维度相关的平滑参数。

实验结果

研究问题

• RQ1 是否能仅通过局部Oracle访问，在非光滑非凸优化中高效找到近似平稳点？
• RQ2 在平滑近似中，平滑质量与构造其的Oracle复杂度之间是否存在根本性权衡？
• RQ3 在温和假设下，随机平滑是否可被视为在平滑质量与Oracle成本之间实现最优平衡？
• RQ4 当标准近似平稳性在非光滑情况下不可行时，哪些替代平稳性概念是可行的？
• RQ5 能否在不引入指数级高Oracle复杂度的前提下，消除平滑中的维度相关因子？

主要发现

• 即使与ε-平稳点的距离有界，最坏情况下也无法高效找到近似平稳点，原因在于存在局部为常数但全局非恒定的函数。
• 任何保持无维度依赖平滑参数的平滑方法，都必须承受指数级高的Oracle复杂度，使其在高维问题中不切实际。
• 随机平滑在平滑质量与Oracle成本之间实现了最优权衡，提供具有多项式Oracle复杂度的维度相关平滑参数。
• 平滑函数的梯度Lipschitz常数呈O(Lr√(log((M+1)(T+1)))/√d)量级，表明除非Oracle成本呈指数增长，否则会出现维度相关退化。
• 该不可能性结果在温和假设下成立，包括平移不变性和有界查询距离，表明该限制是问题结构本身的固有属性。
• 本文为考虑替代平稳性概念（如(δ,ε)-平稳性）提供了理论依据，同时警告此类定义未必总与平稳性的直观理解一致。