[论文解读] Self-Concordant Analysis of Frank-Wolfe Algorithms

Pavel Dvurechensky, Petr Ostroukhov+3 more|arXiv (Cornell University)|Feb 11, 2020

Sparse and Compressive Sensing Techniques参考文献 46被引用 5

一句话总结

本文提出了用于最小化自协方差（SC）函数的自适应Frank-Wolfe算法，这类函数在机器学习中很常见，但由于曲率无界，在标准FW假设下缺乏理论收敛保证。通过利用SC函数的性质，作者设计了新的步长策略，确保全局O(1/k)收敛，并提出了一种新型FW变体，在局部线性最小化预言机和水平集强凸性条件下实现线性收敛。

ABSTRACT

Projection-free optimization via different variants of the Frank-Wolfe (FW), a.k.a. Conditional Gradient method has become one of the cornerstones in optimization for machine learning since in many cases the linear minimization oracle is much cheaper to implement than projections and some sparsity needs to be preserved. In a number of applications, e.g. Poisson inverse problems or quantum state tomography, the loss is given by a self-concordant (SC) function having unbounded curvature, implying absence of theoretical guarantees for the existing FW methods. We use the theory of SC functions to provide a new adaptive step size for FW methods and prove global convergence rate O(1/k) after k iterations. If the problem admits a stronger local linear minimization oracle, we construct a novel FW method with linear convergence rate for SC functions.

研究动机与目标

• 解决在最小化自协方差（SC）函数时Frank-Wolfe（FW）方法缺乏理论收敛保证的问题，这类函数在机器学习中很常见，但其曲率无界。
• 克服标准FW收敛分析的失败，该分析依赖于有界曲率和Lipschitz连续梯度——而SC函数不满足这些条件。
• 设计自适应步长策略，确保目标函数单调下降，并利用水平集光滑性和强凸性进行收敛性分析。
• 在局部线性最小化预言机（LLOO）和水平集强凸性条件下，为一种新型FW变体建立线性收敛速率，从而将FW方法的适用范围扩展到SC问题。
• 提供一个统一的FW方法框架，适用于SC场景，支持在泊松反问题和量子态层析等实际应用中的部署。

提出的方法

• 设计自适应步长，利用自协方差性质确保目标函数单调下降，避免依赖全局Lipschitz常数。
• 提出一种基于水平集光滑性和强凸性的新型收敛性分析框架，该框架源自SC函数理论，即使在全局光滑性不存在时也适用。
• 构建一种新型FW变体，利用局部线性最小化预言机（LLOO）在水平集局部强凸性假设下实现线性收敛。
• 利用SC函数的结构定义步长，隐式控制曲率，实现在不预先知晓光滑性参数情况下的收敛性。
• 实现并比较三种变体：两种自适应FW方法（V1, V2）和一种线搜索变体，通过在投资组合优化和泊松反问题上的数值验证。
• 针对单纯形约束，基于1-范数邻域提出一种专门的LLOO构造方法，如Garber & Hazan (2016) 所述，以在投资组合问题中实现局部逼近。

实验结果

研究问题

• RQ1 当最小化自协方差函数时，Frank-Wolfe方法能否实现全局收敛？这类函数缺乏Lipschitz连续梯度且曲率无界。
• RQ2 在缺乏全局光滑性或强凸性的情况下，何种自适应步长策略可确保FW方法实现全局O(1/k)收敛？
• RQ3 在何种条件下，Frank-Wolfe变体可对自协方差函数实现线性收敛？
• RQ4 如何有效利用局部线性最小化预言机（LLOO）来提升SC最小化中的收敛速率？
• RQ5 所提出的FW变体能否在实际SC问题（如投资组合优化和泊松反问题）中优于标准FW和邻近牛顿法？

主要发现

• 所提出的自适应FW变体在自协方差函数上实现了全局收敛，收敛速率为O(1/k)，即使在缺乏Lipschitz连续梯度时亦成立。
• 通过利用SC函数性质推导的步长策略，确保目标函数单调下降，从而支持在水平集上的收敛性分析。
• 一种采用局部线性最小化预言机（LLOO）的新型FW变体，在水平集局部强凸性和有界曲率条件下实现了线性收敛。
• 数值实验表明，自适应变体（V1, V2）优于使用固定步长（2/(k+2)）的标准FW方法，并在性能上匹配或超越线搜索和邻近牛顿方法。
• 针对单纯形约束的LLOO构造方法有效，支持局部逼近，为投资组合优化问题中的线性收敛结果提供了支持。
• 该方法适用于实际问题，如泊松反问题和量子态层析，其中SC损失函数普遍存在，但标准FW方法无法收敛。