[论文解读] On linear and quadratic Lipschitz bounds for twice continuously differentiable functions

Gene A. Bunin, Grégory François+1 more|arXiv (Cornell University)|Jun 16, 2014

Optimization and Variational Analysis参考文献 4被引用 5

一句话总结

本文针对紧集上的二阶连续可微函数，利用函数及其一阶、二阶导数的利普希茨常数，提出了分段线性和二次界。这些界通过泰勒展开和中值定理推导得出，提供了函数在两点间变化的计算上可行的估计，当使用局部利普希茨常数时，保守性更低。

ABSTRACT

Lower and upper bounds for a given function are important in many mathematical and engineering contexts, where they often serve as a base for both analysis and application. In this short paper, we derive piecewise linear and quadratic bounds that are stated in terms of the Lipschitz constants of the function and the Lipschitz constants of its partial derivatives, and serve to bound the function's evolution over a compact set. While the results follow from basic mathematical principles and are certainly not new, we present them as they are, from our experience, very difficult to find explicitly either in the literature or in most analysis textbooks.

研究动机与目标

• 为紧集上二阶连续可微函数的变化提供显式、可计算的界。
• 解决标准教科书和文献中缺乏此类界之可访问、自包含推导的问题。
• 提供分段线性和二次界的全局与局部版本，以提升在工程和分析中的适用性。
• 通过在两点间线段上使用局部利普希茨常数，减少函数范围估计的保守性。

提出的方法

• 通过两点间线段上函数的泰勒级数展开推导界，并应用中值定理。
• 利用一阶导数的利普希茨界（κ̲i, κ̄i）构建f(xb) - f(xa)的分段线性界。
• 利用海森矩阵的利普希茨界（M̲ij, M̄ij）构建分段二次界，结合xa处的梯度和海森项。
• 引入仅在xa与xb之间线段上有效的局部利普希茨常数，相比全局界减少保守性。
• 通过引入最大梯度和海森矩阵范数（κ, M），利用ℓ1和ℓ2范数简化界。
• 通过取导数贡献可能范围的最小值和最大值，考虑(xb,i - xa,i)的符号，推导出下界和上界。

实验结果

研究问题

• RQ1 如何仅利用函数及其导数的利普希茨常数，推导出C²函数变化的紧密、可计算界？
• RQ2 当仅已知导数的利普希茨界时，f(xb) - f(xa)的分段线性和二次界具有何种结构？
• RQ3 使用仅在xa与xb之间线段上有效的局部利普希茨常数，相比全局界在多大程度上减少保守性？
• RQ4 与高阶或替代的界技术相比，所推导的界在紧致性和计算成本方面表现如何？

主要发现

• 本文通过κ̲i和κ̄i的最小值与最大值，按(xb,i - xa,i)缩放，推导出适用于任意xa, xb ∈ X的f(xb) - f(xa)的分段线性界。
• 通过引入海森项，推导出二次界，其最小值与最大值按M̲ij和M̄ij缩放，乘以(xb,i - xa,i)(xb,j - xa,j)，从而提高紧致性。
• 在区间Xa,b上定义的局部利普希茨常数（κ̲i^{a,b}, M̲ij^{a,b}）相比全局常数，可得到更不保守的界。
• 通过ℓ1和ℓ2范数推导出简化界：f(xb) - f(xa) ∈ [−κ‖xb − xa‖₁, κ‖xb − xa‖₁] 和 [∇f(xa)ᵀ(xb − xa) − ½M‖xb − xa‖₂², ∇f(xa)ᵀ(xb − xa) + ½M‖xb − xa‖₂²]。
• 当xa ≠ xb时，所有界均为严格不等式，这由中值定理应用中的严格性所保证。
• 结果具有一般性，适用于优化、控制和分析，尤其在导数界可先验已知时。