[论文解读] Risk Sensitive Path Integral Control

Bart van den Broek, Wim Wiegerinck+1 more|arXiv (Cornell University)|Mar 15, 2012

Robotic Path Planning Algorithms参考文献 16被引用 36

一句话总结

本文通过最小化指数加权的代价-至-目标函数，将路径积分控制扩展至风险敏感的随机最优控制，根据灵敏度参数实现风险规避或风险追求行为。该方法将现有路径积分方法推广至非线性系统，超越线性二次框架，展示了多模态控制与风险敏感性之间的复杂相互作用。

ABSTRACT

Recently path integral methods have been developed for stochastic optimal control for a wide class of models with non-linear dynamics in continuous space-time. Path integral methods find the control that minimizes the expected cost-to-go. In this paper we show that under the same assumptions, path integral methods generalize directly to risk sensitive stochastic optimal control. Here the method minimizes in expectation an exponentially weighted cost-to-go. Depending on the exponential weight, risk seeking or risk averse behaviour is obtained. We demonstrate the approach on risk sensitive stochastic optimal control problems beyond the linear-quadratic case, showing the intricate interaction of multi-modal control with risk sensitivity.

研究动机与目标

• 将路径积分控制方法推广至非线性动力学下的风险敏感随机最优控制。
• 通过代价-至-目标的指数加权，实现反映风险偏好的控制策略——无论是风险规避还是风险追求。
• 在超越线性二次框架的问题上验证该方法，其中风险敏感性与多模态控制以非平凡方式相互作用。
• 为连续时空中的风险敏感控制提供理论坚实且计算可行的方法。

提出的方法

• 该方法将风险敏感控制表述为最小化代价-至-目标的指数矩，利用风险敏感参数调节风险偏好。
• 将路径积分公式应用于风险敏感代价，借助费曼-卡茨公式将解表示为随机过程期望。
• 通过变分原理推导控制策略，得到涉及路径条件期望的闭式表达式。
• 通过蒙特卡洛采样随机轨迹近似路径积分，保持计算可行性。
• 将该方法应用于非线性、多模态控制问题，展示风险敏感性如何影响策略选择。
• 在基准问题上验证该框架，包括非线性系统中风险敏感性导致定性不同的控制行为。

实验结果

研究问题

• RQ1 路径积分控制能否推广至非线性动力学下的风险敏感最优控制？
• RQ2 在多模态控制问题中，风险敏感性如何影响策略选择？
• RQ3 风险敏感参数在塑造风险规避或风险追求行为中起什么作用？
• RQ4 路径积分方法在风险敏感设置中如何保持计算可行性？
• RQ5 引入风险敏感性后，控制策略在定性和定量上有哪些差异？

主要发现

• 路径积分控制框架在与原始方法相同假设下可直接推广至风险敏感控制。
• 风险敏感参数控制风险规避与风险追求之间的权衡，较高值导致更保守的策略。
• 在非线性、多模态系统中，风险敏感性导致避免高代价、高风险轨迹的显著不同策略结构。
• 该方法成功处理了超越线性二次类别的问题，展现出鲁棒性与灵活性。
• 通过随机路径的蒙特卡洛采样实现高效计算，保持可扩展性。
• 该框架揭示了多模态控制与风险偏好之间的复杂相互作用，这些是标准期望代价最小化无法捕捉的。