[论文解读] Sample-Efficient Safety Assurances using Conformal Prediction

Rachel Luo, Shengjia Zhao+5 more|arXiv (Cornell University)|Sep 28, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用 4

一句话总结

本文提出了一种样本高效的框架，利用预测校准（conformal prediction）来调节机器人中的预警系统，确保可证明的低假阴性率（例如，≤5%），且仅需约 1/ε 个数据点。通过结合仿真器与预测校准，该方法在无需精确模型或大量数据的情况下保证安全性，同时在自动驾驶和抓取任务中保持较低的假阳性率。

ABSTRACT

When deploying machine learning models in high-stakes robotics applications, the ability to detect unsafe situations is crucial. Early warning systems can provide alerts when an unsafe situation is imminent (in the absence of corrective action). To reliably improve safety, these warning systems should have a provable false negative rate; i.e. of the situations that are unsafe, fewer than $ε$ will occur without an alert. In this work, we present a framework that combines a statistical inference technique known as conformal prediction with a simulator of robot/environment dynamics, in order to tune warning systems to provably achieve an $ε$ false negative rate using as few as $1/ε$ data points. We apply our framework to a driver warning system and a robotic grasping application, and empirically demonstrate guaranteed false negative rate while also observing low false detection (positive) rate.

研究动机与目标

• 开发一种方法，仅使用极少数据即可在安全关键型机器人应用中保证低假阴性率。
• 为高风险机器人应用（如自动驾驶和机器人抓取）提供可靠的早期预警系统，以应对不安全情境。
• 仅使用 O(1/ε) 个数据点对危险场景进行建模，即可提供可证明的性能保证（例如，≤ε 的假阴性率）。
• 减少对大规模不安全事件数据收集的依赖，因为此类数据收集成本高昂且不切实际。
• 即使代理安全评分或仿真模型不准确或存在噪声，也能确保鲁棒性。

提出的方法

• 该框架利用预测校准，基于机器人/环境动力学的仿真器对预警系统进行校准。
• 假设训练数据与测试数据具有可交换性，从而在较弱的 i.i.d.-类似条件下提供统计保证。
• 使用代理安全评分 g(Y, u) 对状态-动作对的安全性进行排序，即使该评分不完美或存在噪声。
• 该方法对代理评分应用预测校准，生成预测集，以高置信度控制假阴性率。
• 通过可交换性及预测校准的性质推导出理论保证，确保假阴性数量少于 ε。
• 该方法被应用于驾驶员预警系统和机器人抓取任务，并在不同仿真器精度下进行了实证验证。

实验结果

研究问题

• RQ1 是否能够仅使用 O(1/ε) 个数据点，将预警系统的假阴性率调节至 ε 的理论边界内？
• RQ2 当代理安全评分或仿真模型不准确或存在噪声时，该方法的表现如何？
• RQ3 当预测模型无信息量或为随机值时，该框架是否仍能维持安全保证？
• RQ4 在不同模型质量水平下，假阴性率与假阳性率之间的权衡关系如何？
• RQ5 该方法是否可应用于真实机器人应用中，且仅依赖有限的故障数据？

主要发现

• 在所有测试场景中，假阴性率始终控制在理论边界 ε 以内，即使危险情境仅使用 30 个数据点。
• 当代理安全评分具有信息量时，假阳性率保持在合理低水平（例如，低于 0.2），表明误报较少。
• 即使代理安全评分被替换为均匀随机噪声，假阴性率仍保持在理论边界内，验证了该方法的鲁棒性。
• 随着代理安全评分质量下降（例如，加入噪声），假阳性率上升，但假阴性率始终保持可证明的边界。
• 无论仿真器或预测模型的准确性如何，该方法均能实现可证明的安全保证，展现出强大的鲁棒性。
• 实证结果证实，该框架在自动驾驶和机器人抓取应用中均有效，且仅需极少的故障数据。