[论文解读] Subdifferentials of Nonconvex Integral Functionals in Banach Spaces with Applications to Stochastic Dynamic Programming

Boris S. Mordukhovich, Nobusumi Sagara|arXiv (Cornell University)|Aug 10, 2015

Optimization and Variational Analysis参考文献 19被引用 15

一句话总结

本文通过建立次微分映射的Gelfand积分的次微分规则，利用饱和性和Lyapunov型定理，消除了闭包运算，在一般Banach空间中为非凸积分泛函发展了非光滑微积分。关键贡献是为极限次微分建立了一种类Leibniz法则，使得在无需反射性或可分性假设的情况下，能够推导出无限时域随机动态规划中的必要最优性条件。

ABSTRACT

The paper concerns the investigation of nonconvex and nondifferentiable integral functionals on general Banach spaces, which may not be reflexive and/or separable. Considering two major subdifferentials of variational analysis, we derive nonsmooth versions of the Leibniz rule on subdifferentiation under the integral sign, where the integral of the subdifferential set-valued mappings generated by Lipschitzian integrands is understood in the Gelfand sense. Besides examining integration over complete measure spaces and also over those with nonatomic measures, our special attention is drawn to a stronger version of measure nonatomicity, known as saturation, to invoke the recent results of the Lyapunov convexity theorem type for the Gelfand integral of the subdifferential mappings. The main results are applied to the subdifferential study of the optimal value functions and deriving the corresponding necessary optimality conditions in nonconvex problems of stochastic dynamic programming with discrete time on the infinite horizon.

研究动机与目标

• 将经典Leibniz型次微分规则从积分泛函推广到一般Banach空间中的非凸、不可微情形。
• 通过利用饱和性和Lyapunov凸性定理处理Gelfand积分，消除次微分包含中对范数闭包的需求。
• 放宽底层Banach空间的结构假设，如反射性和可分性。
• 将所发展的微积分框架应用于非凸随机动态规划问题，推导出无限时域下的必要最优性条件。
• 在具有非线性规划约束的随机控制问题中，建立最优值函数的极限次梯度公式。

提出的方法

• 采用Gelfand积分而非Bochner积分，以处理非自反和非可分Banach空间中的集值次微分映射。
• 应用饱和测度空间中多值函数的Gelfand积分的Lyapunov凸性定理，消除次微分包含中的闭包运算。
• 利用测度饱和（超原子无性）概念，确保次微分映射的Gelfand积分等于积分的弱*闭包，无需额外闭包操作。
• 推导出Asplund空间及一般Banach空间中基本/极限次微分和Clarke广义梯度的广义Leibniz公式。
• 通过将值函数表示为边际函数并应用非光滑优化的次微分规则，将微积分框架应用于随机动态规划。
• 建立最优值函数的Bellman方程，并在参数Mangasarian-Fromovitz约束资格条件下，通过次微分微积分推导出必要最优性条件。

实验结果

研究问题

• RQ1 经典Leibniz法则（积分号下微分）能否推广到非自反和非可分Banach空间中的非凸、不可微积分泛函？
• RQ2 在何种条件下，可以消除积分泛函次微分包含中的闭包运算？
• RQ3 如何利用测度空间的饱和性，确保无需闭包即可获得精确的次微分表示？
• RQ4 对于具有非凸、不可微动态和约束的无限时域随机动态规划问题，其必要最优性条件是什么？
• RQ5 在随机控制背景下，这些结果在多大程度上可推广至超越反射性和可分空间的情形？

主要发现

• 为非凸积分泛函的极限次微分建立了广义Leibniz法则：∂(∫φ(·,ω)dμ)(x̄) ⊂ cl ∫ ∂φ(x̄,ω)dμ，且在饱和条件下可去除闭包。
• 在饱和测度空间中，次微分映射的Gelfand积分等于积分的弱*闭包，从而可在无需闭包操作的情况下实现精确的次微分表示。
• 该结果对基本/极限次微分和Clarke广义梯度均成立，后者即使在无饱和性的普通Banach空间中也能得到精确包含关系。
• 所发展的次微分微积分被应用于随机动态规划，推导出无限时域设定下最优值函数的Bellman方程。
• 针对具有非线性规划约束的随机控制问题，推导出必要最优性条件，表明值函数的次梯度包含于拉格朗日函数梯度的集合中。
• 若策略多值函数在最优解附近存在局部上Lipschitz选择，则次微分包含关系中的等式成立。