[论文解读] The condition of a function relative to a polytope

David H. Gutman, Javier Peña|arXiv (Cornell University)|Feb 1, 2018

Advanced Optimization Algorithms Research参考文献 8被引用 6

一句话总结

本文为多面体上的光滑凸函数引入了一种相对条件数，定义为相对于参考多面体的相对光滑性常数与相对强凸性常数之比。该条件数界定了Frank-Wolfe算法（带远离步骤）和投影梯度法等一阶方法的线性收敛速率。在几何上，对于二次函数，该条件数等于经缩放多面体的直径与面距离之比的平方。

ABSTRACT

The condition number of a smooth convex function, namely the ratio of its smoothness to strong convexity constants, is closely tied to fundamental properties of the function. In particular, the condition number of a quadratic convex function is precisely the square of the diameter-to-width ratio of a canonical ellipsoid associated to the function. Furthermore, the condition number of a function bounds the linear rate of convergence of the gradient descent algorithm for unconstrained minimization. We propose a condition number of a smooth convex function relative to a reference polytope. This relative condition number is defined as the ratio of a relative smooth constant to a relative strong convexity constant of the function, where both constants are relative to the reference polytope. The relative condition number extends the main properties of the traditional condition number. In particular, we show that the condition number of a quadratic convex function relative to a polytope is precisely the square of the diameter-to-facial-distance ratio of a scaled polytope for a canonical scaling induced by the function. Furthermore, we illustrate how the relative condition number of a function bounds the linear rate of convergence of first-order methods for minimization of the function over the polytope.

研究动机与目标

• 将经典的条件数概念从无约束优化推广至多面体上的约束优化。
• 定义函数相对于参考多面体的相对光滑性常数与相对强凸性常数。
• 建立相对条件数对多面体集合上一阶方法线性收敛速率的界。
• 为二次函数提供相对条件数的几何解释，基于缩放多面体的几何结构。
• 通过函数增长方法改进相对强凸性常数，以捕捉极小值点的结构特征。

提出的方法

• 利用参考多面体 $ \mathrm{conv}(A) $ 的几何结构，定义相对光滑性常数 $ L_{f,A} $ 和相对强凸性常数 $ \mu_{f,A} $。
• 引入一个改进的强凸性常数 $ \mu^\star_{f,A} $，其依赖于函数 $ f $ 在 $ \mathrm{conv}(A) $ 上的极小值点集，从而优于 $ \mu_{f,A} $。
• 证明：对于二次函数 $ f(u) = \frac{1}{2}\langle Qu,u\rangle + \langle b,u\rangle $，相对条件数等于 $ \mathrm{conv}(Q^{1/2}A) $ 的直径与面距离之比的平方。
• 利用相对条件数作为收敛速率界，证明Frank-Wolfe算法（带远离步骤）和投影梯度法的线性收敛性。
• 基于相对光滑性与强凸性的统一分析框架，简化并统一了一阶方法线性收敛性的证明。
• 当 $ L_{f,A} $ 未知时，在实际中采用回溯线搜索，确保收敛速率保持在真实界的一个常数倍以内。

实验结果

研究问题

• RQ1 如何将函数的经典条件数概念推广至多面体上的约束优化？
• RQ2 相对条件数对于多面体上二次函数的几何意义是什么？
• RQ3 相对条件数与Frank-Wolfe算法和投影梯度法等一阶方法的收敛速率有何关系？
• RQ4 能否定义一个改进的强凸性常数 $ \mu^\star_{f,A} $，使其在 $ \mu_{f,A} = 0 $ 时仍为正，从而适用于非强凸函数？
• RQ5 相对条件数与经典条件数之间存在何种关系？多面体的几何结构在其中起到什么作用？

主要发现

• 对于二次函数 $ f(u) = \frac{1}{2}\langle Qu,u\rangle + \langle b,u\rangle $，相对条件数 $ \frac{L_{f,A}}{\mu_{f,A}} $ 恰好等于缩放多面体 $ \mathrm{conv}(Q^{1/2}A) $ 的直径与面距离之比的平方。
• 相对条件数 $ \frac{L_{f,A}}{\mu_{f,A}} $ 的上界为经典条件数 $ \frac{L_f}{\mu_f} $ 与 $ \mathrm{conv}(A) $ 的直径与面距离之比的平方的乘积。
• 带远离步骤的Frank-Wolfe算法的收敛速率被界为 $ 1 - \min\left\{ \frac{\mu^\star_{f,A}}{16L_{f,A}}, \frac{1}{2} \right\} $，相较于以往证明，其形式更简洁且更具洞察力。
• 投影梯度法的收敛速率被界为 $ 1 - \min\left\{ \frac{\mu^\star_{f,A}}{4L_{f,A}}, \frac{1}{2} \right\} $，其收敛性通过统一的分析框架得到证明。
• 改进的常数 $ \mu^\star_{f,A} $ 始终大于或等于 $ \mu_{f,A} $，且在 $ \mu_{f,A} = 0 $ 时仍可为正，从而使得某些非强凸函数也能实现线性收敛。
• 所提出的相对条件数提供了一个几何与分析相结合的框架，简化并统一了多面体上一阶方法收敛性的证明。