[论文解读] On Lipschitz continuity of value functions for infinite horizon problem

Dmitry Khlopin|arXiv (Cornell University)|Aug 27, 2015

Optimization and Variational Analysis参考文献 16被引用 6

一句话总结

该论文证明，在无限时域最优控制问题中，当值函数为Lipschitz连续时，庞特里亚金最大值原理的正规形式结合灵敏度关系，既是最优性的必要条件也是充分条件。此外，论文识别出一系列系统条件（如类似可控性的性质），可在不施加轨迹或协态的渐近约束下保证值函数的Lipschitz连续性，并表明在不同最优性准则下，同一控制可能对应多个不同的值函数。

ABSTRACT

We investigate conditions of optimality for an infinite horizon control problem and consider their correspondence with the value function. Assuming Lipschitz continuity of the value function, we prove that sensitivity relations plus the normal form version of the Pontryagin Maximum Principle is a necessary and sufficient condition for the optimality criteria that correspond to this value function. Different criteria of optimality under different asymptotic constraints may be used, including almost strong and classical optimality proposed by D.Bogusz. Special attention is devoted to weakly agreeable criteria. We also obtain the conditions on control system (like controllability) that guarantee the Lipschitz continuity of the value function, without any other asymptotic conditions besides finiteness of the value function. Some examples are discussed. In particular, it was shown that the same control, regarded as agreeable optimal and overtaking optimal control, can correspond to different (everywhere) value functions.

研究动机与目标

• 使用庞特里亚金最大值原理的正规形式与灵敏度关系，建立无限时域控制问题的必要且充分的最优性条件。
• 研究不同最优性准则（如可接受性、超越性与经典最优性）与其对应值函数之间的关系。
• 识别出控制系统的内在性质（例如，类似可控性的条件），在不施加轨迹或伴随变量渐近约束的条件下，保证值函数的Lipschitz连续性。
• 阐明在弱可接受性设定下，同一最优控制可能对应多个值函数的非唯一性。
• 基于系统结构，提供值函数Lipschitz连续性的充分条件，且独立于轨迹或协态的渐近性。

提出的方法

• 利用动态规划原理（DPP）将有限时域值函数与无限时域最优性联系起来，确保时间区间的连续性。
• 在值函数Lipschitz连续的假设下，将庞特里亚金最大值原理的正规形式与灵敏度关系作为核心最优性条件。
• 通过控制系统的结构特性（如次线性增长、动力学与代价的局部Lipschitz连续性）推导出值函数Lipschitz连续性的充分条件。
• 采用坐标变换与比较系统（例如，变量 $ w = \sqrt{y_2}, z = y_1 / \sqrt{y_2} $）分析状态空间不同区域的局部行为，并验证Lipschitz连续性。
• 通过分段常数控制与时变轨迹构造显式例子，展示值函数的非唯一性及理论结果的有效性。
• 通过DPP与值函数性质隐式运用汉密尔顿-雅可比-贝尔曼（HJB）方程框架，以验证最优性与连续性。

实验结果

研究问题

• RQ1 在何种条件下，庞特里亚金最大值原理的正规形式结合灵敏度关系，在无限时域控制问题中既是必要也是充分的最优性条件？
• RQ2 不同最优性准则（如可接受性、超越性或经典最优性）如何对应不同的值函数？同一控制何时可在多个准则下均为最优？
• RQ3 控制系统的哪些结构特性可保证值函数的Lipschitz连续性，而无需对轨迹或协态弧施加渐近界？
• RQ4 同一最优控制是否可能对应多个值函数？若可能，其发生条件为何？
• RQ5 在系统不满足标准渐近性或强制性假设时，何种条件可确保值函数保持Lipschitz连续？

主要发现

• 当值函数为Lipschitz连续时，庞特里亚金最大值原理的正规形式结合灵敏度关系，既是最优性的必要条件也是充分条件。
• 同一控制可在多个准则（如可接受性与超越性最优性）下为最优，但对应不同的值函数，如示例7.3所示。
• 若系统满足某些结构条件（如次线性增长、局部Lipschitz连续性），即使不假设轨迹或协态有界或总变差有界，值函数仍为Lipschitz连续。
• 在情形 $ P = [-a^2, a^2] $ 下，值函数 $ \mathbb{V} $ 在集合 $ \{(y_1, y_2) \in \mathbb{R}^2 \mid y_2 \neq 0, y_1^2 \neq 2a^2 y_2\} $ 上为Lipschitz连续，通过坐标变换与比较系统分析得以证明。
• 对应于加权勒贝格空间准则的值函数 $ V^{all} $ 比无限时域积分准则的 $ V^{\inf} $ 小一个常数 $ \frac{-1 + \ln 2}{2} $，表明值函数的非唯一性。
• 本文构造了一个系统，使得对所有 $ b $ 都有 $ V^{all}(b) < V^{\inf}(b) $，但 $ u^* \equiv 0 $ 对两者均为最优，说明不同值函数可产生相同的最优控制。