[论文解读] Real-Time Stochastic Optimal Control for Multi-agent Quadrotor Systems

Vicenç Gómez, Sep Thijssen+3 more|arXiv (Cornell University)|Feb 16, 2015

Distributed Control Multi-Agent Systems参考文献 38被引用 16

一句话总结

本文提出了一种基于路径积分控制的实时随机最优控制框架，用于多智能体四旋翼系统，实现了基于采样的高效轨迹规划与低层级PID跟踪。该方法在模拟环境中实现了最多十架四旋翼机的实时协同，并在三架真实四旋翼机上于室外条件下（存在传感器噪声与风扰）成功展示了自组织集体行为，如编队飞行与追逃行为。

ABSTRACT

This paper presents a novel method for controlling teams of unmanned aerial vehicles using Stochastic Optimal Control (SOC) theory. The approach consists of a centralized high-level planner that computes optimal state trajectories as velocity sequences, and a platform-specific low-level controller which ensures that these velocity sequences are met. The planning task is expressed as a centralized path-integral control problem, for which optimal control computation corresponds to a probabilistic inference problem that can be solved by efficient sampling methods. Through simulation we show that our SOC approach (a) has significant benefits compared to deterministic control and other SOC methods in multimodal problems with noise-dependent optimal solutions, (b) is capable of controlling a large number of platforms in real-time, and (c) yields collective emergent behaviour in the form of flight formations. Finally, we show that our approach works for real platforms, by controlling a team of three quadrotors in outdoor conditions.

研究动机与目标

• 开发一种可扩展的实时控制框架，用于在噪声与不确定性环境中协调自主四旋翼机团队。
• 通过利用高效的采样方法，解决高维非线性多智能体控制的挑战，结合随机最优控制理论。
• 证明路径积分控制能够实现鲁棒的、自组织的集体行为，适用于复杂场景如追逃与编队飞行。
• 在真实硬件上验证该方法，证明其在仿真之外的实际可行性。
• 通过滚动时域重规划与高效的重要性采样实现实时性能，避免求解难以处理的HJB方程。

提出的方法

• 将多智能体控制问题建模为集中式路径积分（PI）控制问题，将最优控制转化为概率推理任务。
• 使用高层规划器，基于全局代价函数（包含智能体间与环境惩罚项）计算每架四旋翼机的最优速度序列。
• 采用低层级PID速度控制器，通过四旋翼飞行控制器将高层速度指令转换为电机指令。
• 采用带有滚动时域的实时重规划，类似于模型预测控制，以适应动态变化。
• 通过高效的 importance sampling 求解PI控制问题，即使在非高斯噪声与非线性动力学下也能实现快速计算。
• 在高层规划中采用质点双积分器模型，抽象掉复杂动力学，以提升可扩展性。

实验结果

研究问题

• RQ1 路径积分随机最优控制能否在噪声与不确定性环境中实现多架四旋翼机的实时、可扩展协同？
• RQ2 在具有多模态、依赖噪声的最优解场景下，该方法与确定性控制及其他随机最优控制方法相比表现如何？
• RQ3 自组织集体行为（如编队飞行与追逃）是否能自然地从全局优化的代价函数中涌现？
• RQ4 分层控制架构（高层规划器 + 低层级PID）在真实世界户外条件下能多大程度上保持性能？
• RQ5 使用该基于采样的方法，最多可实时有效控制多少架四旋翼机？

主要发现

• 所提出的路径积分控制方法在具有噪声依赖最优解的多模态问题中，优于确定性控制及其他随机最优控制方法。
• 系统在实时模拟中成功控制了最多十架四旋翼机，展现出良好的可扩展性与计算效率。
• 自组织集体行为（如环形飞行模式与协同追逃，例如包围移动目标）自然地从代价函数与控制策略中涌现。
• 该方法在三架真实四旋翼机的户外飞行中得到验证，尽管存在显著的传感器噪声与风扰，仍实现了稳定的环形飞行与追逃行为。
• 该控制框架实现了从仿真到真实硬件的无缝过渡，无需修改代码，表明对模型失配具有鲁棒性。
• 该方法在标准硬件（如Core i7笔记本电脑）上计算可行，当前配置下无需专用加速器。