[论文解读] PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning

Dicong Qiu, Yibiao Zhao+1 more|arXiv (Cornell University)|Dec 14, 2019

Robotic Path Planning Algorithms参考文献 44被引用 5

一句话总结

PODDP 是一种新颖的可微轨迹优化算法，用于部分可观察马尔可夫决策过程（POMDPs）中的信念空间规划，适用于具有连续状态、动作、观测以及非线性动态的场景，其中不确定性源于离散隐状态。它通过在信念轨迹树上进行动态规划来优化应急计划，在涉及不确定目标、动态和智能体意图的任务中显著优于启发式基线方法，通过基准测试和自动驾驶实验展示了更低的累积成本。

ABSTRACT

Autonomous agents are limited in their ability to observe the world state. Partially observable Markov decision processes (POMDPs) formally model the problem of planning under world state uncertainty, but POMDPs with continuous actions and nonlinear dynamics suitable for robotics applications are challenging to solve. In this paper, we present an efficient differential dynamic programming (DDP) algorithm for belief space planning in POMDPs with uncertainty over a discrete latent state, and continuous states, actions, observations, and nonlinear dynamics. This representation allows planning of dynamic trajectories which are sensitive to structured uncertainty over discrete latent world states. We develop dynamic programming techniques to optimize a contingency plan over a tree of possible observations and belief space trajectories, and also derive a hierarchical version of the algorithm. Our method is applicable to problems with uncertainty over the cost or reward function (e.g., the configuration of goals or obstacles), uncertainty over the dynamics (e.g., the dynamical mode of a hybrid system), and uncertainty about interactions, where other agents' behavior is conditioned on latent intentions. Benchmarks show that our algorithm outperforms popular heuristic approaches to planning under uncertainty, and results from an autonomous lane changing task demonstrate that our algorithm can synthesize robust interactive trajectories.

研究动机与目标

• 解决在具有非高斯、多模态信念结构的连续状态、连续动作机器人任务中的部分可观察性规划挑战。
• 克服现有高斯信念空间规划器和通用 POMDP 求解器在处理连续动作和非线性动态时的局限性。
• 实现一种高效、可微的轨迹优化方法，能够考虑离散隐状态（如目标位置、系统模式或智能体意图）的结构化不确定性。
• 开发一种适用于实时机器人应用的可扩展方法，特别是需要滚动时域规划并与其它智能体在不确定性下交互的任务。

提出的方法

• 将规划问题形式化为具有连续状态、动作、观测和非线性动态的 POMDP，其中信念不确定性源于离散隐变量。
• 将应急计划构建为可能观测序列及其对应信念状态轨迹的树结构，实现在不确定性下的多步前瞻规划。
• 应用动态规划技术，通过信念状态动态反向传播近似值函数，并在每次观测后使用贝叶斯信念更新。
• 利用微分动态规划（DDP）推导值函数和代价到目标的解析梯度，实现对轨迹树的局部优化。
• 引入问题的分层分解以提高计算效率，尤其适用于控制频率远高于观测频率的场景。
• 采用一种信念状态表示方法，对离散隐状态维持类别分布，并在每次观测后通过贝叶斯法则进行更新。

实验结果

研究问题

• RQ1 可微轨迹优化框架能否有效处理连续 POMDP 中由离散隐状态引发的多模态信念结构？
• RQ2 与假设完全可观测或对隐状态使用加权代价函数的启发式方法相比，PODDP 在规划性能和鲁棒性方面表现如何？
• RQ3 PODDP 能否为其它智能体行为依赖于未观测意图的交互任务合成有效的应急计划？
• RQ4 在涵盖多种不确定性类型的任务中，PODDP 相较于最先进的启发式基线方法，在累积成本和成功率方面优势有多大？

主要发现

• 在崎岖地形实验中，PODDP 的平均累积成本显著低于 MLDDP 和 PWDDP，p 值分别为 0.00008（t(1998) = 3.9）和 0.007（t(1998) = 2.7）。
• 在交互式变道任务中，PODDP 的成本显著低于 MLDDP（p < 0.00001）和 PWDDP（p < 0.00001），表明其在意图不确定性下的优越性能。
• 当初始信念倾向于‘友好’驾驶员（b0(Nice) = 0.49）时，MLDDP 因最大似然偏差而过早减速，导致失败，无法通过该驾驶员。
• 当先验分布平衡时（b0(Nice) = 0.51），MLDDP 成功通过了友好驾驶员，但其平均成本仍高于 PODDP，证实了 PODDP 的鲁棒性与高效性。
• PODDP 有效生成了能根据隐状态推断自适应调整的应急计划——在友好驾驶员前合并，在激进驾驶员后方行驶，展示了有效的意图感知规划能力。
• 可视化结果与 100 次采样执行验证了 PODDP 轨迹的鲁棒性，其在多条观测路径上均表现出高成功率和稳定的信念更新。