[论文解读] Probability-based Detection Quality (PDQ): A Probabilistic Approach to Detection Evaluation.

David Hall, Feras Dayoub+4 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications被引用 11

一句话总结

本文提出概率检测质量（PDQ）这一新型评估指标，用于概率性目标检测，可量化空间与语义不确定性，且无需设定任意阈值。PDQ 明确惩罚误报与漏检，同时奖励检测质量，揭示出传统检测器往往在空间上过于自信，因此呼吁开发具备不确定性感知能力的检测器，以应对真实世界中的机器人与具身人工智能应用。

ABSTRACT

We introduce Probabilistic Object Detection, the task of detecting objects in images and accurately quantifying the spatial and semantic uncertainties of the detections. Given the lack of methods capable of assessing such probabilistic object detections, we present the new Probability-based Detection Quality measure (PDQ).Unlike AP-based measures, PDQ has no arbitrary thresholds and rewards spatial and label quality, and foreground/background separation quality while explicitly penalising false positive and false negative detections. We contrast PDQ with existing mAP and moLRP measures by evaluating state-of-the-art detectors and a Bayesian object detector based on Monte Carlo Dropout. Our experiments indicate that conventional object detectors tend to be spatially overconfident and thus perform poorly on the task of probabilistic object detection. Our paper aims to encourage the development of new object detection approaches that provide detections with accurately estimated spatial and label uncertainties and are of critical importance for deployment on robots and embodied AI systems in the real world.

研究动机与目标

• 为解决现有概率性目标检测评估方法中缺乏对空间与语义不确定性考量的问题。
• 开发一种避免在 mAP 和 moLRP 中常见任意阈值的评估指标。
• 评估检测器在估计不确定性方面的能力，特别是在真实世界机器人与具身人工智能应用中的表现。
• 揭示传统检测器在估计空间不确定性方面的不足。
• 推动开发具备不确定性感知能力的目标检测模型，以实现更安全、更可靠的部署。

提出的方法

• PDQ 是一种概率评估指标，旨在通过量化空间与语义不确定性来评估目标检测质量。
• 它评估前景与背景分离的质量，奖励准确的检测边界与类别预测。
• 与 mAP 不同，PDQ 不依赖于固定的 IoU 阈值，而是使用概率框架来评估检测置信度。
• 该指标通过不确定性感知评分，明确惩罚误报与漏检。
• PDQ 被应用于比较最先进检测器与基于蒙特卡洛 Dropout 的贝叶斯检测器。
• 该方法使具备不同不确定性估计能力的模型之间能够直接比较检测质量。

实验结果

研究问题

• RQ1 传统目标检测器在检测中对空间与语义不确定性的估计能力如何？
• RQ2 在无需任意阈值的情况下，PDQ 相较于 mAP 和 moLRP 在评估检测质量方面优势有多大？
• RQ3 基于蒙特卡洛 Dropout 的贝叶斯检测器在不确定性估计方面相较于标准检测器表现如何？
• RQ4 PDQ 是否能有效区分具备准确不确定性量化能力的模型与过度自信的模型？
• RQ5 检测器在空间上的过度自信对机器人与具身人工智能系统在真实世界部署中意味着什么影响？

主要发现

• 发现传统目标检测器在空间上存在过度自信，导致在概率检测任务中表现欠佳。
• PDQ 有效识别并惩罚误报与漏检，且无需依赖固定的 IoU 阈值。
• 基于蒙特卡洛 Dropout 的贝叶斯检测器在不确定性估计方面优于标准检测器。
• PDQ 揭示出 mAP 和 moLRP 可能无法捕捉检测质量的关键方面，如空间不确定性与前景/背景分离。
• 结果表明，具备不确定性感知能力的检测是实现在真实世界机器人与具身人工智能系统中可靠部署的关键。
• PDQ 通过显式建模位置与类别预测中的不确定性，为检测模型提供了更全面、更公平的评估。