[论文解读] Verifying Learning-Based Robotic Navigation Systems

Guy Amir, Davide Corsi+5 more|arXiv (Cornell University)|May 26, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出一种基于验证的深度强化学习（DRL）策略选择方法，用于机器人导航，利用现成的深度神经网络（DNN）验证工具检测碰撞、无限循环等不安全行为，以及路径过于保守等次优行为。该方法在真实机器人系统中实现了有效的模型选择，优于基于梯度的攻击方法，并在实体机器人上验证了实际的安全性提升。

ABSTRACT

Deep reinforcement learning (DRL) has become a dominant deep-learning paradigm for tasks where complex policies are learned within reactive systems. Unfortunately, these policies are known to be susceptible to bugs. Despite significant progress in DNN verification, there has been little work demonstrating the use of modern verification tools on real-world, DRL-controlled systems. In this case study, we attempt to begin bridging this gap, and focus on the important task of mapless robotic navigation -- a classic robotics problem, in which a robot, usually controlled by a DRL agent, needs to efficiently and safely navigate through an unknown arena towards a target. We demonstrate how modern verification engines can be used for effective model selection, i.e., selecting the best available policy for the robot in question from a pool of candidate policies. Specifically, we use verification to detect and rule out policies that may demonstrate suboptimal behavior, such as collisions and infinite loops. We also apply verification to identify models with overly conservative behavior, thus allowing users to choose superior policies, which might be better at finding shorter paths to a target. To validate our work, we conducted extensive experiments on an actual robot, and confirmed that the suboptimal policies detected by our method were indeed flawed. We also demonstrate the superiority of our verification-driven approach over state-of-the-art, gradient attacks. Our work is the first to establish the usefulness of DNN verification in identifying and filtering out suboptimal DRL policies in real-world robots, and we believe that the methods presented here are applicable to a wide range of systems that incorporate deep-learning-based agents.

研究动机与目标

• 弥合形式化DNN验证与真实世界DRL控制机器人系统之间的差距。
• 解决基于学习的机器人导航中缺乏形式化安全保证的问题，特别是针对多步、反应式行为。
• 通过识别并过滤次优或不安全的DRL策略，实现有效的模型选择。
• 为多个训练迭代中的训练稳定性与策略改进提供洞察。
• 证明形式化验证在真实机器人平台中的实际适用性，超越仿真环境。

提出的方法

• 利用现成的DNN验证引擎，分析DRL策略的安全性与活性属性。
• 形式化验证多个策略调用中的碰撞规避、路径长度最小化以及无限循环的缺失等属性。
• 应用验证以检测不安全行为（如碰撞）和次优行为（如路径过于保守）。
• 利用验证结果从候选DRL策略池中进行模型选择。
• 将基于验证的过滤方法与基于梯度的攻击方法进行比较，以评估鲁棒性与检测能力。
• 在实体机器人上验证结果，确认经验证的次优策略在实际中确实表现出缺陷行为。

实验结果

研究问题

• RQ1 形式化DNN验证技术能否检测真实世界DRL机器人导航系统中的不安全与次优行为？
• RQ2 基于验证的模型选择方法与基于梯度的攻击方法相比，在识别缺陷策略方面表现如何？
• RQ3 形式化验证在多轮训练迭代中，能在多大程度上提供关于DRL训练过程稳定性与改进的洞察？
• RQ4 验证工具能否有效识别在多步导航任务中导致无限循环或碰撞的策略？
• RQ5 将形式化验证集成到DRL智能体真实世界部署流程中的可扩展性与实用性如何？

主要发现

• 验证框架标记为次优的策略在实体机器人上的真实世界测试中被证实存在碰撞与无限循环行为。
• 基于验证的方法成功识别并过滤了行为过于保守的策略，从而实现了更短、更高效的导航路径选择。
• 该方法在检测问题策略方面优于最先进的基于梯度的攻击方法，尤其在识别非显见的活性与安全性违规方面表现更优。
• 验证揭示了不同训练迭代中策略行为的显著差异，为训练稳定性与收敛性提供了洞察。
• 该方法在真实世界部署中表现出实际可行性与可靠性，相关结果通过实体机器人实验与公开视频演示得到验证。