[论文解读] Robust Guarantees for Perception-Based Control

Sarah Dean, Nikolai Matni+2 more|arXiv (Cornell University)|Jul 8, 2019

Robotics and Sensor-Based Localization参考文献 68被引用 26

一句话总结

该论文提出了一种数据驱动框架，用于在具有非线性传感器观测的线性系统中实现鲁棒感知控制。通过密集状态空间采样学习感知映射及其误差界，构建安全集并合成鲁棒控制器，使其在对抗性噪声下具有泛化能力，为基于视觉的自主系统控制提供了可证明的安全性和性能保障。

ABSTRACT

Motivated by vision-based control of autonomous vehicles, we consider the problem of controlling a known linear dynamical system for which partial state information, such as vehicle position, is extracted from complex and nonlinear data, such as a camera image. Our approach is to use a learned perception map that predicts some linear function of the state and to design a corresponding safe set and robust controller for the closed loop system with this sensing scheme. We show that under suitable smoothness assumptions on both the perception map and the generative model relating state to complex and nonlinear data, parameters of the safe set can be learned via appropriately dense sampling of the state space. We then prove that the resulting perception-control loop has favorable generalization properties. We illustrate the usefulness of our approach on a synthetic example and on the self-driving car simulation platform CARLA.

研究动机与目标

• 解决将高维、非线性传感器数据（例如，相机图像）集成到自主系统鲁棒控制回路中的挑战。
• 弥合经典鲁棒控制（提供强安全性保证）与现代基于学习的感知（缺乏形式化保证）之间的差距。
• 开发一种可 tractable 地量化并处理感知不确定性的框架，即使状态估计来自复杂观测，也能实现安全控制。
• 实现在对抗性噪声下感知-控制回路的泛化，这是自主系统在真实世界中部署的关键要求。

提出的方法

• 通过状态空间的密集采样，学习将复杂观测（例如，图像）映射到系统状态线性函数的感知映射。
• 对感知映射和描述状态到观测关系的生成模型施加平滑性假设，以在局部范围内界定估计误差。
• 基于局部误差界构建数据依赖的安全集，确保系统保持在训练数据的邻域内。
• 利用安全集和误差界合成鲁棒控制器，确保在对抗性扰动下系统偏离训练分布的程度被限制。
• 采用 ℓ∞-有界不确定性模型来表述鲁棒控制问题，实现最坏情况下的性能保障。
• 在合成数据和 CARLA 自动驾驶汽车模拟器上验证该框架，对比鲁棒控制器与名义控制器的性能。

实验结果

研究问题

• RQ1 在何种条件下，可以使用数据驱动方法对基于视觉的控制中的感知不确定性进行量化和界定？
• RQ2 当状态估计来自非线性、高维观测时，如何合成鲁棒控制器以确保系统安全性？
• RQ3 即使感知映射是从有限的训练数据中学习得到的，能否保证感知-控制回路在对抗性噪声下具有泛化能力？
• RQ4 感知映射和生成模型的平滑性在实现泛化和安全性保证方面起到什么作用？
• RQ5 在分布偏移下，与名义控制器（例如，LQG、ℓ1-最优）相比，所提出的鲁棒控制器在稳定性与性能方面表现如何？

主要发现

• 所提方法在对抗性噪声下实现了系统状态偏离训练数据分布的有界偏差，而名义控制器（LQG、ℓ1-最优）则失效并发散。
• 感知误差特性表现出局部斜率有界性，验证了对平滑性和误差随与训练点距离增加而衰减的理论假设。
• 在 CARLA 中的 200 次滚动实验中，鲁棒合成控制器保持了有界的 ℓ∞ 跟踪误差，误差棒显示在安全集内性能一致。
• 该框架首次为对抗性噪声下基于视觉的控制系统提供了可证明的泛化保证，填补了基于学习的机器人系统安全性中的关键空白。
• 即使视觉里程计因特征不匹配而失效，鲁棒控制器仍能维持安全行为，展示了对感知故障的鲁棒性。
• 通过密集采样构建的安全集实现了可处理的、数据驱动的安全保障，无需完整的系统辨识或完美的状态可观测性。