[论文解读] Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion

Ashok Cutkosky, Harsh Mehta+1 more|arXiv (Cornell University)|Feb 7, 2023

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出了一种新颖的在线到非凸转换框架，将非光滑、非凸的随机优化问题转化为在线学习问题，实现了寻找 $(\delta,\epsilon)$-驻点的最优复杂度 $O(\epsilon^{-3}\delta^{-1})$，优于此前最优率 $O(\epsilon^{-4}\delta^{-1})$。该方法利用在线学习中的移动后悔界设计了针对非光滑目标的更快算法，并通过下界证明了其最优性。

ABSTRACT

We present new algorithms for optimizing non-smooth, non-convex stochastic objectives based on a novel analysis technique. This improves the current best-known complexity for finding a $(δ,ε)$-stationary point from $O(ε^{-4}δ^{-1})$ stochastic gradient queries to $O(ε^{-3}δ^{-1})$, which we also show to be optimal. Our primary technique is a reduction from non-smooth non-convex optimization to online learning, after which our results follow from standard regret bounds in online learning. For deterministic and second-order smooth objectives, applying more advanced optimistic online learning techniques enables a new complexity of $O(ε^{-1.5}δ^{-0.5})$. Our techniques also recover all optimal or best-known results for finding $ε$ stationary points of smooth or second-order smooth objectives in both stochastic and deterministic settings.

研究动机与目标

• 为解决现代架构（如基于 ReLU 的网络）在非光滑、非凸随机优化中标准光滑性假设失效时理论保证的缺口。
• 改进在非光滑、非凸设置下寻找 $(\delta,\epsilon)$-驻点的最先进复杂度，此类问题更贴近真实世界深度学习场景。
• 建立非凸随机优化到在线学习的正式约化，使能利用先进的在线学习后悔界实现更快收敛。
• 证明新复杂度率 $O(\epsilon^{-3}\delta^{-1})$ 对所有 $\epsilon \leq O(\delta)$ 是最优的，从而填补关键理论空白。

提出的方法

• 核心方法为在线到非凸转换：通过从随机梯度导出的线性损失，将非凸随机优化问题映射为在线学习问题。
• 算法利用在线学习中的移动后悔界，其中后悔是相对于一系列移动比较器来衡量的，以控制迭代点的漂移并确保收敛至驻点。
• 采用带周期性重置的在线梯度下降（OGD），实现 $K$-移动后悔界为 $O(DGK\sqrt{T})$，这对最终收敛保证至关重要。
• 该方法采用在线到批量转换，从在线迭代序列中提取单个点 $\overline{{\mathbf{w}}}^k$，确保对所有 $t$ 有 $\|\overline{{\mathbf{w}}}^k - {\mathbf{w}}_t^k\| \leq \delta$，满足 $(\delta,\epsilon)$-驻性条件。
• 通过方向导数预言机和在线后悔结构，分析界定了局部邻域内平均梯度的期望范数，以控制期望次优性。
• 通过构造匹配的下界，证明了 $O(\epsilon^{-3}\delta^{-1})$ 的复杂度率是最优的，表明在相同假设下无算法可实现更优复杂度。

实验结果

研究问题

• RQ1 在非光滑、非凸随机优化中，能否实现优于 $O(\epsilon^{-4}\delta^{-1})$ 的复杂度以找到 $(\delta,\epsilon)$-驻点？
• RQ2 复杂度率 $O(\epsilon^{-3}\delta^{-1})$ 是否最优，或可进一步改进？
• RQ3 在线到非凸转换框架能否用于统一并改进光滑及二阶光滑目标的现有结果？
• RQ4 所提方法在随机与确定性情形下，能否恢复光滑及二阶光滑设置下的最优或最佳已知复杂度率？
• RQ5 能否利用在线学习与非凸优化之间的联系，为非光滑目标设计更快的算法？

主要发现

• 所提算法实现了 $O(\epsilon^{-3}\delta^{-1})$ 的复杂度以找到 $(\delta,\epsilon)$-驻点，优于此前最优已知率 $O(\epsilon^{-4}\delta^{-1})$。
• 证明了 $O(\epsilon^{-3}\delta^{-1})$ 复杂度率对所有 $\epsilon \leq O(\delta)$ 是最优的，建立了与上界匹配的根本下界。
• 对于二阶光滑目标，该方法利用先进的乐观在线学习技术实现了 $O(\epsilon^{-1.5}\delta^{-0.5})$ 的复杂度，同样为最优。
• 该框架在随机与确定性设置下，均恢复了光滑及二阶光滑目标的全部最优或最佳已知结果。
• 在线到批量转换确保最终迭代点 $\overline{{\mathbf{w}}}^k$ 位于其轨迹的 $\delta$-球内，满足 $(\delta,\epsilon)$-驻性条件。
• 分析确认，即使使用方向导数预言机，$O(\epsilon^{-3}\delta^{-1})$ 复杂度率仍为紧致，且该界对连续可微函数成立。