[论文解读] Near Optimality and Tractability in Stochastic Nonlinear Control.

Mohamed Naveed Gul Mohamed, Suman Chakravorty|arXiv (Cornell University)|Apr 1, 2020

Stochastic processes and financial applications被引用 2

一句话总结

本文通过求解一个名义开环问题，随后在该基础上应用线性反馈，提出了一种适用于随机非线性系统的可计算反馈控制设计。该方法在小噪声参数ε下，实现了与真实随机反馈律的四阶精度渐近性能，且在不确定性下的机器人规划任务中得到了经验验证。

ABSTRACT

We consider the problem of nonlinear stochastic optimal control. This is fundamentally intractable owing to Bellman's infamous curse of dimensionality. We present a principle for the tractable feedback design for such problems, wherein, first, a nominal open-loop problem is solved, followed by a suitable linear feedback design around the open-loop. The performance of the resulting feedback law is shown to be asymptotically close to the true stochastic feedback law to fourth order in a small noise parameter $\epsilon$. The decoupling theory is empirically tested on robotic planning problems under uncertainty.

研究动机与目标

• 解决由于贝尔曼维度灾难导致的随机非线性最优控制的根本不可计算性。
• 开发一种避免求解完整哈密顿-雅可比-贝尔曼方程的可计算反馈设计框架。
• 通过两阶段方法（开环优化后接线性反馈校正）实现性能接近真实随机反馈律。
• 在小噪声参数ε下，对性能精度提供理论保证，精度达到四阶。
• 在具有随机扰动的机器人路径规划任务中实现并测试该方法。

提出的方法

• 制定一个名义开环最优控制问题，以近似真实的随机控制问题。
• 在名义开环轨迹周围应用线性反馈，以实现稳定并提升性能。
• 利用摄动分析推导所提反馈与真实随机反馈律之间的性能差距。
• 建立反馈律性能在ε的四阶精度内渐近收敛至最优随机反馈的理论结果。
• 利用解耦理论简化反馈校正项的分析。
• 在具有随机扰动的机器人运动规划任务中实现并测试该方法。

实验结果

研究问题

• RQ1 两阶段反馈设计（开环优化后接线性反馈）是否能在随机非线性控制中实现近似最优性能？
• RQ2 所提反馈律在性能差距方面，对真实随机反馈律的逼近精度如何？
• RQ3 尽管存在非线性随机控制中的维度灾难，该方法在多大程度上仍保持可计算性？
• RQ4 相对于最优随机反馈，性能误差的量级是多少？
• RQ5 在具有不确定性的实际机器人规划场景中，该方法表现如何？

主要发现

• 所提反馈律在小噪声参数ε下，性能与真实随机反馈律的差距达到四阶精度。
• 该方法为避免求解完整非线性哈密顿-雅可比-贝尔曼方程提供了一种可计算的替代方案。
• 在机器人规划问题上的实证结果证明了该方法的有效性与实用性。
• 解耦理论使得性能差距分析具有解析可计算性。
• 当ε → 0时，反馈设计渐近最优，误差按O(ε⁴)量级缩放。
• 该方法在保持计算可行性的同时，显著优于随机环境中的开环控制。