[论文解读] Relatively-Smooth Convex Optimization by First-Order Methods, and Applications

Haihao Lu, Robert M. Freund+1 more|arXiv (Cornell University)|Oct 18, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用 4

一句话总结

本文通过将光滑性推广至用户定义的参考函数 $ h(\cdot) $ 的'相对光滑性'，提出了一种用于一阶凸优化的新框架，使在传统一致光滑性不成立的问题中也能实现高效算法。主要贡献是提出了一种新的收敛性分析与算法框架，实现了对非一致光滑函数的 $ O(1/k) $ 亚线性收敛，已在 $ D $-最优设计及其他不可光滑化问题上得到验证。

ABSTRACT

The usual approach to developing and analyzing first-order methods for smooth convex optimization assumes that the gradient of the objective function is uniformly smooth with some Lipschitz constant $L$. However, in many settings the differentiable convex function $f(\cdot)$ is not uniformly smooth -- for example in $D$-optimal design where $f(x):=-\ln \det(HXH^T)$, or even the univariate setting with $f(x) := -\ln(x) + x^2$. Herein we develop a notion of "relative smoothness" and relative strong convexity that is determined relative to a user-specified "reference function" $h(\cdot)$ (that should be computationally tractable for algorithms), and we show that many differentiable convex functions are relatively smooth with respect to a correspondingly fairly-simple reference function $h(\cdot)$. We extend two standard algorithms -- the primal gradient scheme and the dual averaging scheme -- to our new setting, with associated computational guarantees. We apply our new approach to develop a new first-order method for the $D$-optimal design problem, with associated computational complexity analysis. Some of our results have a certain overlap with the recent work \cite{bbt}.

研究动机与目标

• 解决标准一阶方法对梯度一致 Lipschitz 连续性的依赖限制，该条件在许多实际凸优化问题中不成立。
• 提出一种广义光滑性条件——相对于计算上可行的参考函数 $ h(\cdot) $ 的相对光滑性，以支持对非一致光滑函数的分析。
• 将原始梯度与对偶平均方法扩展至相对光滑性设置，提供新的收敛性保证。
• 将该框架应用于 $ D $-最优设计及其他传统方法因梯度 Lipschitz 常数无界而失效的不可光滑化问题。
• 通过选择使间隙函数 $ Lh - f $ 的 Hessian 矩阵最小化的 $ h(\cdot) $，在计算可行性与收敛速率之间取得平衡。

提出的方法

• 定义相对光滑性：若可微凸函数 $ f $ 相对于 $ 1 $-强凸参考函数 $ h $ 满足 $ \nabla f(x) - \nabla f(y) \leq L \cdot \|x - y\|_h $，其中 $ \|\cdot\|_h $ 是由 $ h $ 导出的范数，则称其为 $ L $-相对光滑。
• 使用 Bregman 距离 $ D_h(x,y) = h(x) - h(y) - \langle \nabla h(y), x - y \rangle $ 定义新的优化子问题。
• 修改原始梯度算法，将更新中的标准 $ \|x - x^i\|_2^2 $ 项替换为 $ L D_h(x, x^i) $。
• 在相对光滑性条件下证明广义三点性质，使基于 Bregman 距离的收敛性分析成为可能。
• 建立收敛速率 $ f(x^k) - f(x^*) \leq \frac{L D_h(x^*, x^0)}{k} $，推广经典 $ O(1/k) $ 收敛率。
• 提出一种策略，通过选择使 $ Lh - f $ 的 Hessian 矩阵较小的 $ h(\cdot) $，在子问题可解性与收敛性之间实现平衡，避免条件数差与子问题求解困难。

实验结果

研究问题

• RQ1 一阶方法能否扩展至非一致光滑的凸函数，如 $ f(x) = -\ln(x) + x^2 $ 或 $ f(x) = -\ln \det(HXH^T) $？
• RQ2 是否存在一种合适的光滑性推广，可为非一致光滑函数提供收敛性保证？
• RQ3 Bregman 距离框架如何适配以在相对光滑性下保持 $ O(1/k) $ 收敛速率？
• RQ4 应依据何种标准选择参考函数 $ h(\cdot) $，以在收敛速率与子问题复杂度之间取得平衡？
• RQ5 该新框架能否成功应用于 $ D $-最优设计及其他梯度 Lipschitz 常数无界的优化问题？

主要发现

• 本文证明，许多非一致光滑的凸函数——如 $ f(x) = -\ln(x) + x^2 $ 和 $ f(x) = -\ln \det(HXH^T) $——相对于简单参考函数（如 $ h(x) = \frac{1}{2}\|x\|_2^2 $ 或 $ h(x) = \sum x_i \ln x_i $）是相对光滑的。
• 相对光滑性框架使原始梯度算法可实现 $ O(1/k) $ 收敛速率：$ f(x^k) - f(x^*) \leq \frac{L D_h(x^*, x^0)}{k} $，即使 $ f $ 不具有一致光滑性。
• 在 $ D $-最优设计中，该方法实现了避免经典方法中 $ L_f $ 指数增长的计算复杂度界，从而支持实际实现。
• 在相对光滑性下，间隙函数 $ \nabla^2(Lh - f) $ 的 Hessian 矩阵为半正定，确保收敛界定义良好且非递增。
• 参考函数 $ h(\cdot) $ 的选择存在权衡：$ h(\cdot) = f(\cdot) $ 可使 Hessian 间隙为零，但子问题困难；$ h(\cdot) = \frac{1}{2}\|\cdot\|_2^2 $ 可使子问题简单，但 Hessian 控制较差。
• 该框架推广了标准一阶方法，并提供了一种系统化选择 $ h(\cdot) $ 的方法，例如使用预条件矩阵 $ B $，在不牺牲计算可行性的情况下提升收敛速度。