[论文解读] On the Fenchel Duality between Strong Convexity and Lipschitz Continuous Gradient

Xingyu Zhou|arXiv (Cornell University)|Mar 17, 2018

Optimization and Variational Analysis被引用 52

一句话总结

本文提供了费歇尔对偶性的一个简单证明：闭合且强凸的函数的共轭具有 Lipschitz 梯度，反之亦然，使用含子梯度的广义凸性等价性与子梯度。

ABSTRACT

We provide a simple proof for the Fenchel duality between strong convexity and Lipschitz continuous gradient. To this end, we first establish equivalent conditions of convexity for a general function that may not be differentiable. By utilizing these equivalent conditions, we can directly obtain equivalent conditions for strong convexity and Lipschitz continuous gradient. Based on these results, we can easily prove Fenchel duality. Beside this main result, we also identify several conditions that are implied by strong convexity or Lipschitz continuous gradient, but are not necessarily equivalent to them. This means that these conditions are more general than strong convexity or Lipschitz continuous gradient themselves.

研究动机与目标

• 动机并形式化强凸性与 Lipschitz 连续梯度之间的费歇尔对偶性。
• 发展通过子梯度将等价凸性条件扩展到非光滑函数的情形。
• 证明函数 f 及其共轭 f* 的费歇尔对偶性结果，建立精确的参数关系。
• 识别由强凸性或 Lipschitz 梯度隐含的辅助条件，并阐明它们的普遍性。

提出的方法

• 通过将梯度替换为子梯度（引理1）来推广经典凸性等价性，使之适用于可能非光滑的函数。
• 通过等价的一阶条件和梯度不等式形式来刻画强凸性（引理2）。
• 推导由强凸性得到的含义和辅助条件（引理3）。
• 关联 Lipschitz 梯度条件及其含义（引理4）。
• 发展并利用共轭函数结果（引理5和引理6）以连接子梯度与梯度。
• 证明主要的费歇尔对偶性定理： (i) f 的强凸性蕴含 f* 的梯度为 Lipschitz；(ii) f 的梯度 Lipschitz 蕴含 f* 的强凸性。

实验结果

研究问题

• RQ1 当 f 的强凸性与梯度的 Lipschitz 连续性是否对共轭函数 f* 也蕴含相应的 Lipschitz/强凸性性质？
• RQ2 带有子梯度的广义凸性条件是否能给出一个更简洁的证明，证明强凸性与 Lipschitz 梯度之间的费歇尔对偶性？
• RQ3 由强凸性或 Lipschitz 梯度隐含的辅助条件有哪些，它们是否等价于标准定义？

主要发现

• 若 f 是闭合且 μ-强凸，则 f* 具有 1/μ-Lipschitz 梯度。
• 若 f 具有 L-Lipschitz 梯度，则 f* 是 1/L-强凸。
• 等价的凸性条件通过子梯度扩展到非光滑函数，从而实现直接推导。
• 识别出由强凸性或 Lipschitz 梯度隐含的若干较弱或更一般的条件，但并非都等价于原始属性。
• 证明揭示了在优化问题中建立等价性的实用技巧，特别是通过共轭分析。