[论文解读] Nonsmooth Analysis and Optimization

Christian Clason|arXiv (Cornell University)|Aug 14, 2017

Numerical methods in inverse problems参考文献 47被引用 77

一句话总结

对非光滑分析与优化的全面讲义式综述，涵盖泛函分析、凸分析和 Lipschitz 分析，重点在于变分方法、子微分和在无限维空间中的近端/分裂技术。

ABSTRACT

These lecture notes for a graduate course cover generalized derivative concepts useful in deriving necessary optimality conditions and numerical algorithms for nondifferentiable optimization problems in inverse problems, imaging, and PDE-constrained optimization. Treated are convex functions and subdifferentials, Fenchel duality, monotone operators and resolvents, Moreau--Yosida regularization, proximal point and (some) first-order splitting methods, Clarke subdifferentials, and semismooth Newton methods. The required background from functional analysis and calculus of variations is also briefly summarized.

研究动机与目标

• 在无限维空间中为优化建立泛函分析基础。
• 发展变分工具（直接法、弱/强收敛、强性势性）以证明极小值存在性。
• 呈现凸分析框架（子差分、Fenchel 对偶、单调算子）与近端方法。
• 引入 Lipschitz 分析（Clarke 子差分、半光滑牛顿法）用于非光滑优化。
• 通过近端点、分裂和 Moreau–Yosida 正则化将理论联系到实际算法。

提出的方法

• 给出范数空间的标准定义与性质、对偶性与收敛性（强、弱、weak-*）。
• 在变分法中使用直接法证明极小值存在性，借助强性势性与弱下半连续性。
• 在 Banach 空间发展微分 calculus（Gâteaux/Fréchet 导数、链式法则、Bochner 积分）。
• 引入叠加（Nemytskii）算子并在 Carathéodory 増长条件下分析其连续性/可微性。
• 概述凸分析工具（子差分、Fenchel 对偶、单调算子）和用于优化的近端/分裂方法。
• 讨论广义导数（Clarke、Mordukhovich）及非光滑问题的牛顿型方法。

实验结果

研究问题

• RQ1 如何在无限维空间中为非光滑泛函建立极小值存在性？
• RQ2 哪些微分法则可以扩展到 Banach 空间以处理不可微（子差分、链式法则、均值定理）？
• RQ3 在凸/有噪声的情形下，近端点与分裂方法如何表述与分析？
• RQ4 在 Lebesgue 空间之间，叠加算子在何种条件下成为连续或可微？
• RQ5 如何使用 Clarke/极限子差分来开发用于非光滑优化的鲁棒牛顿型方法？

主要发现

• 直接法在强性势、弱下半连续的在reflexive Banach 空间上的泛函中确保极小值存在性。
• 当与较小半连续函数相加、与连续映射复合以及对指标取上确界等运算时，弱下半连续性被保留。
• Carathéodory 増长确保叠加算子在 Lp 空间之间的连续性，使点wise 非线性可以纳入变分模型。
• Gâteaux 可微性在 Banach 空间中给出 Fermat 型最优性条件；在 Hilbert 空间中，梯度可通过 Riesz 表示确认。
• 近端点、分裂和 Moreau–Yosida 正则化为基于凸与单调算子的优化算法提供框架。
• Clarke 子差分和 Mordukhovich/极限子差分将经典最优性条件扩展到非光滑设置，使半光滑牛顿法成为可能。