[论文解读] Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis

Jikai Jin, Bohang Zhang+2 more|arXiv (Cornell University)|Oct 24, 2021

Sparse and Compressive Sensing Techniques参考文献 33被引用 4

一句话总结

本文提出了一种非凸分布鲁棒优化（DRO）框架，针对一般光滑非凸损失函数，提供了非渐近收敛保证。通过在惩罚后的DRO目标上使用带有动量的mini-batch归一化梯度下降法，该方法在梯度噪声无界且存在非凸性的情况下，仍能实现找到$\epsilon$-一阶平稳点的$\mathcal{O}(\epsilon^{-4})$梯度复杂度。

ABSTRACT

Distributionally robust optimization (DRO) is a widely-used approach to learn models that are robust against distribution shift. Compared with the standard optimization setting, the objective function in DRO is more difficult to optimize, and most of the existing theoretical results make strong assumptions on the loss function. In this work we bridge the gap by studying DRO algorithms for general smooth non-convex losses. By carefully exploiting the specific form of the DRO objective, we are able to provide non-asymptotic convergence guarantees even though the objective function is possibly non-convex, non-smooth and has unbounded gradient noise. In particular, we prove that a special algorithm called the mini-batch normalized gradient descent with momentum, can find an $ε$ first-order stationary point within $O( ε^{-4} )$ gradient complexity. We also discuss the conditional value-at-risk (CVaR) setting, where we propose a penalized DRO objective based on a smoothed version of the CVaR that allows us to obtain a similar convergence guarantee. We finally verify our theoretical results in a number of tasks and find that the proposed algorithm can consistently achieve prominent acceleration.

研究动机与目标

• 填补在梯度噪声无界条件下，针对非凸、光滑损失函数的DRO理论理解方面的空白。
• 为一般$\psi$-散度不确定性集下的DRO算法提供非渐近收敛保证。
• 解决DRO优化中非凸性与无界随机梯度方差带来的挑战。
• 通过平滑化的DRO公式，将收敛性分析扩展至条件风险价值（CVaR）设置。

提出的方法

• 提出一种基于$\psi$-散度的惩罚DRO目标，以处理分布不确定性。
• 引入CVaR的平滑版本，以在非凸设置下实现非渐近分析。
• 采用mini-batch归一化梯度下降与动量，以稳定训练并提升收敛性。
• 利用DRO目标上的广义光滑性条件，以控制梯度方差。
• 通过凸共轭$\psi^*$的对偶形式，推导梯度界与光滑性性质。
• 通过利用真实梯度范数界定随机梯度的方差，建立收敛性。

实验结果

研究问题

• RQ1 能否为具有通用光滑非凸损失函数和无界梯度噪声的DRO建立非渐近收敛性？
• RQ2 所提出的带动量的归一化SGD能否在非凸DRO中实现找到$\epsilon$-平稳点的可证明梯度复杂度？
• RQ3 能否对条件风险价值（CVaR）DRO公式进行平滑化，以支持非渐近分析？
• RQ4 所提算法的梯度复杂度在$\epsilon$、$\lambda$、$\alpha$和问题参数方面的表达式是什么？
• RQ5 该方法在类别不平衡和鲁棒分类任务上的实际表现如何？

主要发现

• 所提出的mini-batch归一化梯度下降与动量方法，在非凸DRO中实现$\mathcal{O}(\epsilon^{-4})$梯度复杂度，以找到$\epsilon$-一阶平稳点。
• DRO目标满足广义光滑性条件，即使在非凸性和非光滑性存在的情况下，仍能支持收敛性分析。
• 对于平滑化的CVaR公式，梯度复杂度为$\mathcal{O}(\alpha^{-3}\lambda^{-1}G^{2}(G^{2}+\lambda L)\Delta\epsilon^{-4})$，其中$\Delta$为初始最优性差距。
• 在类别不平衡的CIFAR-10数据集上的实证结果表明，该方法实现了稳定的加速，平滑化CVaR在最差类别上达到了90.2%的测试准确率。
• 该方法在少数类上优于标准SGD和基线DRO方法，表现出在分布偏移下的鲁棒性。
• 理论分析证实，梯度方差受真实梯度范数的有界性控制，从而在无界噪声下实现稳定优化。