[论文解读] Optimality, identifiability, and sensitivity

Dmitriy Drusvyatskiy, Adrian S. Lewis|arXiv (Cornell University)|Jul 27, 2012

Optimization and Variational Analysis参考文献 23被引用 4

一句话总结

本文引入了优化中最小可识别集的概念，表明其在最优性条件、敏感性分析和活动集方法中具有核心作用。研究证明，可识别流形等价于部分光滑性，统一了关键的变分分析概念，并为非光滑优化问题中的收敛性和稳定性提供了几何基础。

ABSTRACT

Around a solution of an optimization problem, an "identifiable" subset of the feasible region is one containing all nearby solutions after small perturbations to the problem. A quest for only the most essential ingredients of sensitivity analysis leads us to consider identifiable sets that are "minimal". This new notion lays a broad and intuitive variational-analytic foundation for optimality conditions, sensitivity, and active set methods.

研究动机与目标

• 通过可识别性概念，发展一种用于非光滑优化中最优性和敏感性的变分分析框架。
• 将最小可识别集识别为在扰动下表征临界点的最富信息量的子集。
• 通过可识别流形的概念，统一活动集方法、临界锥和敏感性分析。
• 建立可识别流形与经典部分光滑性概念之间的精确联系。
• 通过可识别集为优化算法的收敛性和稳定性提供几何与分析基础。

提出的方法

• 为集值映射（特别是次微分映射）定义可识别性，作为确保逼近临界点且次梯度趋于零的序列最终位于可识别集内的性质。
• 引入局部最小可识别集，即在小扰动下包含所有附近临界点的最小此类集合。
• 利用临界锥和切锥刻画可识别集的几何结构，表明在正则性条件下，可识别集切锥的闭凸包等于临界锥。
• 应用近端正规性和Clarke正则性，以确保临界点附近次微分映射的稳定性和光滑逼近。
• 通过四个条件（近端正规性、流形上的光滑性、法锥的精确性、次微分的内半连续性）建立可识别流形与部分光滑性的等价性。
• 使用近端映射作为度量投影的函数类比，将结果扩展至函数情形，尽管为简洁起见省略了完整扩展。

实验结果

研究问题

• RQ1 在临界点处，什么条件可保证局部最小可识别集的存在性和唯一性？
• RQ2 可识别集与优化中临界锥和活动集结构有何关联？
• RQ3 在变分分析中，可识别流形在何种意义上等价于部分光滑性？
• RQ4 可识别性如何简化敏感性分析和最优性条件？
• RQ5 切锥和法锥在刻画可识别集及其几何结构方面起什么作用？

主要发现

• 若存在，局部最小可识别集存在且唯一，且其恰好由目标函数的小线性扰动的所有临界点构成。
• 函数在临界点附近的二次增长等价于其在最小可识别集上的二次增长，从而简化了最优性验证。
• 在Clarke正则性和近端正规性条件下，某点的临界锥等于最小可识别集切锥的闭凸包。
• 可识别流形等价于部分光滑性：当且仅当f在x处关于M对v是部分光滑的，且v属于次微分的相对内部时，C²流形M在x处对v是可识别的。
• f的次微分映射在局部上由其在最小可识别集上的限制决定，即在(x,f(x),v)附近，∂f的图像与∂(f+δ_M)的图像重合。
• 当f是Clarke正则的，且f+δ_M是近端正规且光滑可导时，临界锥K_f(x,v)恰好等于M在x处切锥的闭凸包。