[论文解读] Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization

Yankun Huang, Qihang Lin|arXiv (Cornell University)|Jan 30, 2023

Advanced Optimization Algorithms Research被引用 4

一句话总结

该论文首次对非光滑弱凸约束优化中的单循环切换次梯度法（SSG）进行了Oracle复杂度分析，通过引入一种结合固定步长与Polyak类型步长的新型自适应步长规则，实现了$O(1/ au^4)$的复杂度——与双循环方法相当，从而保持近似可行性并确保收敛至$\epsilon$-驻点。

ABSTRACT

We consider a non-convex constrained optimization problem, where the objective function is weakly convex and the constraint function is either convex or weakly convex. To solve this problem, we consider the classical switching subgradient method, which is an intuitive and easily implementable first-order method whose oracle complexity was only known for convex problems. This paper provides the first analysis on the oracle complexity of the switching subgradient method for finding a nearly stationary point of non-convex problems. Our results are derived separately for convex and weakly convex constraints. Compared to existing approaches, especially the double-loop methods, the switching gradient method can be applied to non-smooth problems and achieves the same complexity using only a single loop, which saves the effort on tuning the number of inner iterations.

研究动机与目标

• 填补单循环一阶方法在非光滑、弱凸约束优化问题中理论理解的空白。
• 分析经典切换次梯度法（SSG）在目标函数与约束函数均为弱凸且非光滑的非凸设置下的Oracle复杂度。
• 设计一种步长规则，确保近似可行性并实现对$\epsilon$-驻点的收敛，而无需内层循环调参。
• 证明单循环SSG可达到与最先进双循环方法相同的$O(1/\epsilon^4)$复杂度，尽管实现更简单。
• 在实际问题上验证该方法，包括带有人口统计均等性约束的公平分类问题。

提出的方法

• 提出一种切换次梯度法，通过一种新型自适应步长规则，在目标函数与约束函数的次梯度之间交替更新。
• 在通过目标函数次梯度更新时使用固定步长，在通过约束函数次梯度更新时使用自适应Polyak类型步长。
• 引入约束函数的局部误差界条件，以控制不可行性并确保收敛。
• 基于约束违反程度设计切换准则，动态决定每轮迭代中使用哪类次梯度。
• 在两种设置下分析该方法：凸约束与满足适当约束资格条件的弱凸约束。
• 在附录中将分析扩展至随机设置，表明相似的复杂度界依然成立。

实验结果

研究问题

• RQ1 切换次梯度法能否在非光滑、弱凸约束优化中实现$O(1/\epsilon^4)$的Oracle复杂度？
• RQ2 所提出的自适应步长规则是否能在无需内层循环调参的情况下确保近似可行性并收敛至$\epsilon$-驻点？
• RQ3 在非光滑、非凸设置下，单循环SSG的复杂度与现有双循环方法相比如何？
• RQ4 在何种条件下SSG方法能保持近似可行性并避免陷入不可行的驻点？
• RQ5 该方法能否应用于实际问题，如带有人口统计均等性约束的公平分类问题？

主要发现

• 当约束函数为凸时，切换次梯度法对寻找$\epsilon$-驻点实现了$O(1/\epsilon^4)$的Oracle复杂度。
• 当约束函数为弱凸时，若满足约束资格条件，同样可实现$O(1/\epsilon^4)$的复杂度。
• 自适应步长规则——对目标更新使用固定步长，对约束更新使用Polyak类型步长——确保了近似可行性并实现了收敛。
• 该方法避免了双循环方法所需的内层循环迭代调参，因此在实际应用中更易实现。
• 数值结果表明，SSG方法在收敛速度和可行性方面与双循环方法表现相当，且每轮迭代更高效。
• 该方法可应用于实际问题，如在满足假设条件下的基于人口统计均等性约束的公平分类问题。