[论文解读] Performance Monitoring of Object Detection During Deployment.

Quazi Marufur Rahman, Niko Sünderhauf+1 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Neural Network Applications参考文献 27被引用 5

一句话总结

本文提出了一种实时、自监督的推理阶段性能监控方法，用于部署中的目标检测器，利用检测器内部特征预测平均精度（mAP）是否低于临界阈值——从而无需依赖真实标签。该方法在性能下降时触发警报，降低风险，提升自动驾驶等动态环境中的安全性。

ABSTRACT

Performance monitoring of object detection is crucial for safety-critical applications such as autonomous vehicles that operate under varying and complex environmental conditions. Currently, object detectors are evaluated using summary metrics based on a single dataset that is assumed to be representative of all future deployment conditions. In practice, this assumption does not hold, and the performance fluctuates as a function of the deployment conditions. To address this issue, we propose an introspection approach to performance monitoring during deployment without the need for ground truth data. We do so by predicting when the per-frame mean average precision drops below a critical threshold using the detector's internal features. We quantitatively evaluate and demonstrate our method's ability to reduce risk by trading off making an incorrect decision by raising the alarm and absenting from detection.

研究动机与目标

• 解决自动驾驶等安全关键应用中对目标检测器实时性能监控的迫切需求。
• 克服依赖静态、单数据集评估指标的局限性，这些指标在实际部署条件变化时失效。
• 在推理过程中检测性能退化，且无需真实标签注释。
• 开发一种方法，在平均精度（mAP）低于临界阈值时触发警报，从而提升系统安全性。

提出的方法

• 利用目标检测器的内部特征（如特征图或注意力图）实时评估检测可靠性。
• 训练一个代理模型，通过学习与低mAP相关的内部特征模式来预测性能下降。
• 采用基于阈值的警报系统，当预测的mAP低于预设临界值时触发警报。
• 通过避免在部署过程中依赖外部标注或真实标签，实现自监督运行。
• 将监控模块直接集成到推理流水线中，实现低延迟、持续的性能评估。

实验结果

研究问题

• RQ1 在环境条件变化时，训练好的目标检测器的内部特征能否可靠指示性能退化？
• RQ2 在部署过程中无法访问真实标签的情况下，自监督方法在多大程度上能够检测到mAP的下降？
• RQ3 所提出的警报系统在通过牺牲少量误报以换取更早发现性能故障方面，其风险降低效果如何？
• RQ4 与标准评估指标相比，该方法在多样化的真实部署场景中的表现如何？

主要发现

• 该方法通过分析内部特征，成功检测到目标检测器的性能退化，实现了对mAP下降的可靠早期预警。
• 该方法通过在性能低于临界阈值时及时触发警报，即使无真实标签，也能有效降低风险。
• 系统通过可控数量的误报，避免遗漏关键性能故障，从而提升动态环境中的安全性。
• 定量评估证实，该方法在真实世界变化性条件下检测mAP退化具有高灵敏度，优于传统汇总指标。