[论文解读] UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization

Ali Kavis, Kfir Y. Levy+2 more|arXiv (Cornell University)|Oct 30, 2019

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

UniXGrad 是一种新颖的自适应、通用算法，用于约束型随机凸优化，可在无需事先知晓平滑度 $L$ 或梯度噪声方差 $σ^2$ 的情况下，实现最优收敛速率——非光滑问题为 $\mathcal{O}(GD/\sqrt{T})$，光滑问题为 $\mathcal{O}(D^2L/T^2 + \sigma D/\sqrt{T})$。受 Mirror-Prox 启发，它采用自适应学习率与在线到批量转换机制，统一实现了各类设置下的最优性能。

ABSTRACT

We propose a novel adaptive, accelerated algorithm for the stochastic constrained convex optimization setting. Our method, which is inspired by the Mirror-Prox method, \emph{simultaneously} achieves the optimal rates for smooth/non-smooth problems with either deterministic/stochastic first-order oracles. This is done without any prior knowledge of the smoothness nor the noise properties of the problem. To the best of our knowledge, this is the first adaptive, unified algorithm that achieves the optimal rates in the constrained setting. We demonstrate the practical performance of our framework through extensive numerical experiments.

研究动机与目标

• 为解决约束型随机凸优化（SCO）中缺乏自适应、通用算法以实现最优收敛速率的问题。
• 在无需事先知晓平滑度 $L$ 或噪声方差 $\sigma^2$ 的前提下，统一约束设置下光滑与非光滑问题的最优收敛速率。
• 解决先前研究在约束型 SCO 设置下留下的开放性问题。
• 开发一种实用且可扩展的算法，在多种机器学习任务中实现与理论最优速率一致的性能。

提出的方法

• 基于 Mirror-Prox 框架，提出一种受在线学习技术启发的新型自适应学习率规则。
• 采用自适应步长机制，隐式校准至未知的平滑度与噪声水平。
• 利用在线到批量转换，从在线遗憾界推导出泛化保证。
• 引入一种带有对偶平均风格平均的递归更新规则，以稳定收敛过程。
• 利用 Bregman 散度及距离生成函数 $\mathcal{R}$ 的强凸性，确保约束条件的满足。
• 通过精细化分析梯度噪声与动量项，结合条件期望与方差控制，推导出收敛界。

实验结果

研究问题

• RQ1 能否设计一种单一自适应算法，在无需事先知晓 $L$ 或 $\sigma^2$ 的前提下，同时实现光滑与非光滑约束型随机凸优化的最优收敛速率？
• RQ2 是否可能将无约束设置下的通用优化原理扩展至约束设置，同时保持最优收敛速率？
• RQ3 如何设计自适应学习率，使其能隐式响应未知问题特性（如平滑度与噪声）？
• RQ4 对于使用随机预言机的约束型 SCO 中的自适应加速方法，可推导出哪些理论保证？
• RQ5 在约束设置下，能否消除先前通用方法中出现的对数因子？

主要发现

• UniXGrad 在非光滑问题中实现了最优收敛速率 $\mathcal{O}(GD/\sqrt{T})$，与 SGD 的最佳已知速率一致。
• 在光滑问题中，其收敛速率达到最优 $\mathcal{O}(D^2L/T^2 + \sigma D/\sqrt{T})$，解决了约束型通用优化中长期存在的开放性问题。
• 该算法消除了先前通用方法中存在的冗余对数因子，收紧了无约束与约束设置下的速率界。
• 理论分析证实，该方法能自适应未知的平滑度与噪声水平，在无需调参的情况下实现最优性能。
• 数值实验表明，该算法在多种机器学习任务（包括 SVM、逻辑回归与 Lasso）中均展现出优越的实际性能。
• 最终收敛界为 $\mathbb{E}[f(\bar{x}_T)] - \min_{x\in\mathcal{K}}f(x) \leq \frac{224\sqrt{14}D^2L}{T^2} + \frac{14\sqrt{2}\sigma D}{\sqrt{T}}$，证实其对 $T$、$L$、$D$ 与 $\sigma$ 的最优依赖关系。