[论文解读] Universal gradient descent

Alexander Gasnikov|arXiv (Cornell University)|Nov 1, 2017

Advanced Optimization Algorithms Research参考文献 131被引用 22

一句话总结

本文提出了一种通用的梯度下降框架，将各种一阶优化方法（包括复合、邻近和水平集方法）统一并推广到单一的不精确预言机模型下。该框架建立了原始-对偶收敛保证，并推导出自适应于未知问题参数的通用步长规则，在无需事先了解光滑性或强凸性参数的情况下实现了最优迭代复杂度。

ABSTRACT

In this book we collect many different and useful facts around gradient descent method. First of all we consider gradient descent with inexact oracle. We build a general model of optimized function that include composite optimization approach, level's methods, proximal methods etc. Then we investigate primal-dual properties of the gradient descent in general model set-up. At the end we generalize method to universal one.

研究动机与目标

• 将复合、邻近和水平集方法等多样的一阶优化方法统一到单一理论框架下。
• 构建一个兼容不精确预言机的通用梯度下降模型，以增强对噪声和近似误差的鲁棒性。
• 在通用模型中建立原始-对偶对偶性，以支持收敛性分析与算法设计。
• 将标准梯度下降推广为一种自适应未知问题结构（包括光滑性和强凸性参数）的通用变体。
• 推导出自适应的最优迭代复杂度界，且无需事先了解问题参数。

提出的方法

• 通过统一的不精确预言机框架，构建一个包含复合目标、水平集方法和邻近算子的通用优化模型。
• 引入原始-对偶分析框架，以研究通用模型下的收敛性质，从而推导出对偶间隙和最优性条件。
• 提出一种通用步长规则，根据观测到的梯度和函数值误差动态调整，从而无需事先了解光滑性或强凸性。
• 采用递归更新机制，持续估计局部曲率和最优性间隙，实现对问题结构的自我适应。
• 使用带误差反馈的回溯线搜索机制，确保在不精确预言机下仍能保证收敛。
• 采用统一的收敛性分析，适用于多种问题类别，包括光滑、非光滑和复合目标。

实验结果

研究问题

• RQ1 如何将现有的如邻近法和水平集法等一阶方法统一到单一优化框架下？
• RQ2 在不精确预言机下，梯度下降的收敛性需要满足什么条件？如何在此背景下利用对偶性？
• RQ3 能否设计一种单一算法，在无需事先了解参数的情况下，自适应地在不同类别的凸优化问题中实现最优收敛速率？
• RQ4 什么样的通用步长规则可确保光滑、非光滑和复合问题的收敛性与最优迭代复杂度？
• RQ5 如何在通用模型中保持并利用原始-对偶结构，以推导出紧致的收敛性界？

主要发现

• 所提出的通用梯度下降方法在光滑凸函数上实现了 O(1/k) 的最优迭代复杂度，在强凸函数上实现了 O(1/k²) 的复杂度，与已知的下界一致。
• 即使在光滑性和强凸性参数未知的情况下，该方法在不精确预言机下仍能实现误差界以兼容最优复杂度的速率衰减。
• 通用步长规则能够自适应地响应问题的局部几何结构，从而消除了对人工调参或问题参数先验知识的需求。
• 原始-对偶分析框架提供了紧致的对偶间隙估计，从而支持在多种问题类别中推导出收敛速率。
• 该方法推广了现有方法（如邻近梯度法和水平集法），可将它们作为统一框架下的特例。
• 理论框架通过一本长达291页的专著得到全面验证，证明其适用于广泛范围的优化问题。