[论文解读] Optimal strategies for impulse control of piecewise deterministic Markov processes

Benoîte de Saporta, François Dufour+1 more|arXiv (Cornell University)|Mar 25, 2016

Advanced Control Systems Optimization参考文献 19被引用 11

一句话总结

本文提出了一种新颖的、显式的ε-最优脉冲控制策略构造方法，针对块状确定性马尔可夫过程（PDMPs），采用单步跳跃或干预算子。与以往需要求解辅助最优停止问题或完整值函数计算的方法不同，该方法仅需无脉冲策略的成本，即可实现可处理的数值近似和保证收敛至最优成本ε范围内的构造性策略生成。

ABSTRACT

This paper deals with the general discounted impulse control problem of a piecewise deterministic Markov process. We investigate a new family of epsilon-optimal strategies. The construction of such strategies is explicit and only necessitates the previous knowledge of the cost of the no-impulse strategy. In particular, it does not require the resolution of auxiliary optimal stopping problem or the computation of the value function at each point of the state space. This approach is based on the iteration of a single-jump-or-intervention operator associated to the piecewise deterministic Markov process.

研究动机与目标

• 开发一类用于无限时域折扣脉冲控制的PDMPs的新ε-最优策略家族。
• 构建仅需无脉冲策略成本的策略，避免求解辅助最优停止问题或在每个状态点计算值函数。
• 提供一种构造性方法，用于ε-最优策略，支持未来数值实现与近似。
• 将U.S. Gugerli的ε-最优停止时间框架扩展至更复杂的脉冲控制设置，同时处理干预时间与新起始点。

提出的方法

• 该方法通过迭代与PDMP相关的单步跳跃或干预算子，构造近似值函数序列。
• 引入一个辅助控制过程，显式编码策略，其中干预时间与新状态通过涉及rε^N₀(x)的阈值规则定义。
• 该策略使用从ε-最优性条件导出的停止时间t*(x)，以及决定何时干预的阈值rε^N₀(x)。
• 该构造利用PDMP的路径动态，包括流动、跳跃强度λ和马尔可夫核Q，以定义干预规则。
• 其依赖于一个变换后的状态空间，同时追踪连续状态与剩余干预次数N₀。
• 该方法避免求解变分不等式或汉密尔顿-雅可比-贝尔曼方程，转而通过单个算子的迭代近似实现。

实验结果

研究问题

• RQ1 能否在不求解辅助最优停止问题或计算完整值函数的前提下，显式构造PDMPs的ε-最优脉冲控制策略？
• RQ2 是否可能仅通过无脉冲策略的成本和一个单步跳跃或干预算子，生成ε-最优策略？
• RQ3 如何在构造性方式下，联合优化PDMPs的干预时间与新起始状态？
• RQ4 反复应用单个算子是否能生成收敛至真实值函数ε范围内的近似值函数？

主要发现

• 所提策略通过迭代单步跳跃或干预算子构造近似值函数序列，实现ε-最优性。
• 该方法仅需无脉冲策略的成本，无需求解复杂辅助问题或在每个状态点计算值函数。
• 该构造完全显式且具有构造性，可直接实现并支持ε-最优策略的数值近似。
• 辅助过程的设计使其成本恰好对应于近似值函数，确保收敛至最优成本ε范围内。
• 该方法将Gugerli的ε-最优停止策略推广至脉冲控制设置，同时处理干预时机与状态选择。
• 该方法是首个为PDMP脉冲控制提供可处理、构造性路径以实现ε-最优策略数值近似的方案。