[论文解读] Task-Driven Out-of-Distribution Detection with Statistical Guarantees for Robot Learning.

Alec Farid, Sushant Veer+1 more|arXiv (Cornell University)|Jun 25, 2021

Machine Learning and Algorithms参考文献 44被引用 6

一句话总结

本文提出了一种面向机器人学习的任务驱动分布外（OOD）检测方法，利用PAC-Bayes理论为性能边界提供统计保证。通过在推理过程中检测这些边界的违反情况，该方法能够以高置信度识别OOD场景，在抓取和无人机导航任务中仅需少数几次试验即可实现稳健的OOD检测。

ABSTRACT

Our goal is to perform out-of-distribution (OOD) detection, i.e., to detect when a robot is operating in environments that are drawn from a different distribution than the environments used to train the robot. We leverage Probably Approximately Correct (PAC)-Bayes theory in order to train a policy with a guaranteed bound on performance on the training distribution. Our key idea for OOD detection then relies on the following intuition: violation of the performance bound on test environments provides evidence that the robot is operating OOD. We formalize this via statistical techniques based on p-values and concentration inequalities. The resulting approach (i) provides guaranteed confidence bounds on OOD detection, and (ii) is task-driven and sensitive only to changes that impact the robot's performance. We demonstrate our approach on a simulated example of grasping objects with unfamiliar poses or shapes. We also present both simulation and hardware experiments for a drone performing vision-based obstacle avoidance in unfamiliar environments (including wind disturbances and different obstacle densities). Our examples demonstrate that we can perform task-driven OOD detection within just a handful of trials. Comparisons with baselines also demonstrate the advantages of our approach in terms of providing statistical guarantees and being insensitive to task-irrelevant distribution shifts.

研究动机与目标

• 解决机器人在训练分布之外环境中运行时检测困难的问题，此类情况可能危及安全与性能。
• 开发一种提供OOD检测统计置信区间的机制，确保在真实世界部署中的可靠性。
• 确保检测机制为任务驱动，仅关注影响机器人性能的分布偏移，而非无关的变异。
• 实现在极少部署试验次数下实现OOD检测，提升真实世界机器人学习的效率。
• 通过聚焦于性能退化而非任务无关的分布偏移（如光照变化或风扰动），降低误报率。

提出的方法

• 应用PAC-Bayes理论训练策略，使其在训练分布上具有理论保证的性能边界。
• 将性能边界用作统计阈值：推理过程中若出现违反，则表明可能存在OOD操作。
• 通过p值和集中不等式的形式化OOD检测，量化检测分布偏移的置信度。
• 在推理过程中实时监控策略性能，并与PAC-Bayes边界进行比较以检测异常。
• 设计检测机制，使其仅对影响任务特定性能的分布偏移敏感，而非对无关环境变化敏感。
• 将该方法集成到仿真与真实世界机器人系统中，用于在抓取和基于视觉的障碍物避让任务中进行验证。

实验结果

研究问题

• RQ1 我们能否利用PAC-Bayes理论为机器人学习中的分布外检测提供统计置信区间？
• RQ2 该方法在仅使用少量推理试验的情况下，检测OOD场景的效率如何？
• RQ3 该方法对任务无关的分布偏移（如风力或光照变化）的敏感程度如何？
• RQ4 与现有OOD检测基线相比，该方法在可靠性与任务相关性方面表现如何？
• RQ5 该方法能否在复杂的真实世界机器人任务（如基于视觉的障碍物避让）中检测OOD状态？

主要发现

• 即使分布偏移细微或与任务无关，该方法仍能以统计置信度成功检测出分布外环境。
• OOD检测仅需少数几次推理试验即可实现，展现出极高的样本效率。
• 该方法在任务无关的分布偏移（如风扰动或障碍物密度变化）上保持了较低的误报率。
• 与基线方法对比显示，该方法在保持仅对影响性能的变化敏感的同时，提供了更强的统计保证。
• 该方法在不同机器人任务中具有良好的泛化能力，包括机器人抓取和基于视觉的无人机导航。
• 使用p值和集中不等式使得在部署过程中能够实现可靠且可量化的分布偏移检测。