[论文解读] On the Differentiability of the Solution to Convex Optimization Problems

Shane Barratt|arXiv (Cornell University)|Apr 13, 2018

Optimization and Variational Analysis参考文献 3被引用 40

一句话总结

本文给出在何种条件下，关于问题数据的凸优化解的导数存在的条件，利用 KKT 系统上的隐函数定理。它还展示了如何通过重复使用 KKT 矩阵分解高效计算雅可比矩阵。

ABSTRACT

In this paper, we provide conditions under which one can take derivatives of the solution to convex optimization problems with respect to problem data. These conditions are (roughly) that Slater's condition holds, the functions involved are twice differentiable, and that a certain Jacobian matrix is non-singular. The derivation involves applying the implicit function theorem to the necessary and sufficient KKT system for optimality.

研究动机与目标

• 激发研究凸优化解对变化的问题数据的敏感性。
• 提供解映射相对于问题数据可微的条件。
• 推导解（及对偶变量）相对于问题参数的雅可比的公式。

提出的方法

• 将带有原始变量、不等式和等式约束的参数化凸优化问题进行形式化。
• 将 KKT 条件作为参数化问题的必要且充分的最优性框架。
• 构造一个 g 函数，将 KKT 条件封装其中，并对 g 应用隐函数定理以获得雅可比。
• 定义并计算 KKT 系统的区块雅可比 D_x g、D_theta g，以及 D_theta g。
• 证明解映射的雅可比可表达为 -D_z g^{-1} D_theta g。
• 通过重用内点法中常见的 KKT 矩阵分解来讨论计算效率。

实验结果

研究问题

• RQ1 在何种条件下，带参数 theta 的凸优化问题的解对数据可微？
• RQ2 如何利用 KKT 系统计算解（及对偶变量）相对于 theta 的雅可比？
• RQ3 雅可比计算能否利用内点方法已有的分解工作以提高效率？
• RQ4 这些结果如何与对二次规划的微分以及先前关于可微优化层的工作相关？

主要发现

• 若满足 Slater 条件及相应的可微性假设，并且 Jacobian D_x g 非奇异，解映射相对于 theta 可微。
• 解映射的雅可比为 D_theta s(theta) = - D_z g(z, theta)^{-1} D_theta g(z, theta)，其中 z 收集了 (x, lambda, nu)。
• 该框架将对二次规划的求导结果推广到一般凸问题。
• 雅可比可使用原先对偶-原始内点法所用的相同分解来计算，从而实现高效复用。
• 该方法与 Amos 和 Kolter 的结果保持一致并扩展，提供了一个通用的凸优化设置和显式的雅可比公式。