[论文解读] Step-Size Adaptivity in Projection-Free Optimization

Fabián Pedregosa, Armin Askari+2 more|arXiv (Cornell University)|Jun 13, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用 5

一句话总结

本文提出了一种基于回溯线搜索的自适应步长策略，用于投影无约束优化算法（如Frank-Wolfe和Matching Pursuit）。通过利用局部目标信息而非全局常数，该方法在凸与非凸问题上均实现了与最优非自适应变体相当的收敛速率，且在三个数据集上的实际性能表现也得到显著提升。

ABSTRACT

We propose and analyze adaptive step-size (also known as inexact line search) variants of different projection-free algorithms such as Frank-Wolfe, its Away-Steps and Pairwise variants as well as Matching Pursuit. The proposed methods leverage local information of the objective through a backtracking line search strategy. This has two key advantages: First, it does rely on constants of the objective that might be costly to compute, such as the Lipschitz or the curvature constant. Second, the proposed criterion is adaptive to local information of the objective, allowing for larger step-sizes. For all proposed methods, we derive convergence rates on convex and non-convex problems that asymptotically match the strongest known bounds for non-adaptive variants. As a side-product of our analysis we obtain the first known bounds for matching pursuit on non-convex objectives. Benchmarks on three different datasets illustrate the practical advantages of the method.

研究动机与目标

• 消除投影无约束算法中对昂贵的全局常数（如Lipschitz常数或曲率常数）的依赖。
• 开发基于局部目标信息动态调整的自适应步长策略。
• 在凸与非凸设置下，保持或优于非自适应变体的收敛速率。
• 建立Matching Pursuit在非凸目标上的首个已知收敛边界。
• 通过在三个真实世界数据集上的基准测试，展示实际优势。

提出的方法

• 提出一种回溯线搜索策略，基于局部曲率和下降信息自适应选择步长。
• 将自适应步长机制应用于Frank-Wolfe、其Away-Steps与Pairwise变体以及Matching Pursuit。
• 通过依赖局部充分下降条件，避免显式计算Lipschitz常数等全局常数。
• 在现有投影无约束框架中集成自适应线搜索，仅对核心更新规则进行最小修改。
• 使用充分下降准则确保每次迭代均取得进展，同时允许更大、与问题自适应的步长。
• 在凸与非凸设置下分析收敛性，推导出与已知最优边界一致的渐近收敛速率。

实验结果

研究问题

• RQ1 在投影无约束算法中，自适应步长是否能在不依赖曲率或Lipschitz常数等全局常数的情况下改善收敛性？
• RQ2 与非自适应方法相比，自适应步长在凸与非凸优化问题中的收敛速率有何影响？
• RQ3 所提出的回溯线搜索策略能否有效扩展至Matching Pursuit？可建立何种收敛保证？
• RQ4 与标准投影无约束方法相比，自适应方法在真实世界数据集上实现了哪些实际性能提升？
• RQ5 Matching Pursuit在非凸目标上的首个已知收敛边界是什么？

主要发现

• 所提出的自适应步长方法在凸与非凸问题上均实现了渐近收敛速率与最优非自适应变体相当的结果。
• 该方法消除了对Lipschitz常数或曲率常数等全局常数的计算或估计需求，降低了计算开销。
• 回溯线搜索通过利用局部目标信息，实现了更大、与问题自适应的步长，从而提升了实际收敛速度。
• 分析首次建立了Matching Pursuit在非凸目标上的已知收敛边界，扩展了其理论理解。
• 在三个不同数据集上的实证基准测试表明，自适应方法在实际性能上持续优于标准投影无约束算法。