[论文解读] Piecewise-Deterministic Optimal Path Planning

Zhengdi Shen, Alexander Vladimirsky|arXiv (Cornell University)|Dec 29, 2015

Risk and Portfolio Optimization参考文献 36被引用 3

一句话总结

本文提出了一套数值框架，用于在具有随机环境切换的分段确定性系统中进行最优路径规划，采用半拉格朗日与欧拉格式求解弱耦合的哈密顿-雅可比-贝尔曼偏微分方程系统。主要贡献在于表明：在有限切换速率下，基于无限切换速率或零切换速率的渐近最优控制策略会显著降低性能，其中无限速率策略在蒙特卡洛模拟中导致碰撞。

ABSTRACT

We consider piecewise-deterministic optimal control problems in which the environment randomly switches among several deterministic modes, and the goal is to optimize the expected cost up to the termination while taking the likelihood of future mode-switches into account. The dynamic programming approach yields a weakly-coupled system of Hamilton-Jacobi-Bellman PDEs satisfied by the value functions of individual modes. We derive and implement semi-Lagrangian and Eulerian numerical schemes for that system. We further recover simpler, "asymptotically optimal" controls and test their performance in non-asymptotic regimes. Our approach is illustrated on a simple anisotropic path-planning problem: the time-optimal control for a boat affected by randomly switching winds.

研究动机与目标

• 开发高效的数值方法，求解具有随机瞬时模式切换的系统的最优控制问题。
• 分析在有限速率切换环境中，渐近最优控制策略（无限或零切换速率）与真实最优解之间的性能差距。
• 量化在使用简化控制策略而非求解完整的弱耦合HJB系统时，预期性能的退化程度。
• 证明在分段确定性设定下，最优轨迹不再为分段直线，与确定性情况不同。
• 在一般切换动力学下，推导模式相关值函数之间差异的先验界。

提出的方法

• 将最优控制问题表述为一组一阶弱耦合哈密顿-雅可比-贝尔曼（HJB）偏微分方程系统，其中每个模式对应不同的确定性动力学。
• 推导控制方程系统：$\|\nabla u_i\|s(\mathbf{x}) - \mathbf{w}_i(\mathbf{x})\cdot\nabla u_i = 1 - \sum_{j=1}^n \lambda_{ij}(u_i - u_j)$，编码在随机切换下的期望代价。
• 在结构化笛卡尔网格上，实现半拉格朗日与欧拉数值格式，高效求解耦合的HJB系统。
• 提出两种渐近最优控制策略：一种假设瞬时切换（无限速率 $c \to \infty$），另一种假设无切换（零速率 $c \to 0$）。
• 通过蒙特卡洛模拟，对比在单障碍物2D路径规划问题中，渐近控制策略与真实最优解的性能表现。
• 利用首次 hitting 时间期望与利普希茨连续性，推导 $\|u_i - u_j\|_\infty$ 的上界，表明当 $c \to \infty$ 时，$|u_i - u_j| = O(c^{-1})$。

实验结果

研究问题

• RQ1 当在有限速率切换环境中应用渐近最优控制策略（无限或零切换速率）时，其性能退化程度如何？
• RQ2 在确定性与分段确定性路径规划问题中，最优轨迹的结构性差异是什么？
• RQ3 能否在切换系统中为模式相关值函数之间的差异推导出先验界？
• RQ4 在不确定性路径规划中，弱耦合HJB系统数值格式在精度与效率方面如何比较？
• RQ5 随机环境切换对最优路径的最优性与光滑性有何影响？

主要发现

• 基于无限切换速率的渐近控制策略（$u^\infty$）在大量蒙特卡洛模拟中导致与障碍物碰撞，表明性能出现显著退化。
• 基于零切换速率的渐近控制策略（$\alpha_*^0$）优于 $u^\infty$，但与真实最优解相比，仍导致明显的期望时间成本增加。
• 在分段确定性设定下，即使速度场在各模式中保持恒定，最优轨迹也不再是分段直线，这是由于切换动力学的影响。
• 模式相关值函数 $u_i$ 与 $u_j$ 之间的差异受 $\bar{C} \cdot \max\{\mathbb{E}[\kappa_{ij}], \mathbb{E}[\kappa_{ji}]\}$ 限制，其中 $\kappa_{ij}$ 表示从模式 $i$ 切换到 $j$ 的 hitting 时间。
• 随着切换速率 $c$ 增大，值函数差异以 $O(c^{-1})$ 速率衰减，证实了 $u^\infty$ 对真实解的渐近收敛性。
• 在较弱假设下推导出值函数差异的理论上限：有界代价、值函数的利普希茨连续性，以及局部可控制性。