[论文解读] The Probabilistic Object Detection Challenge

John Skinner, David Hall+3 more|arXiv (Cornell University)|Mar 19, 2019

Adversarial Robustness in Machine Learning参考文献 7被引用 4

一句话总结

本文介绍了 ACRV 机器人视觉挑战赛1：概率性目标检测，这是一个新基准，要求目标检测器使用高斯分布输出空间不确定性，并通过基于概率的检测质量（PDQ）度量进行评估。该挑战使用具有多样化光照、视角和相机高度的模拟视频序列，强调真实机器人部署中的不确定性校准。

ABSTRACT

We introduce a new challenge for computer and robotic vision, the first ACRV Robotic Vision Challenge, Probabilistic Object Detection. Probabilistic object detection is a new variation on traditional object detection tasks, requiring estimates of spatial and semantic uncertainty. We extend the traditional bounding box format of object detection to express spatial uncertainty using gaussian distributions for the box corners. The challenge introduces a new test dataset of video sequences, which are designed to more closely resemble the kind of data available to a robotic system. We evaluate probabilistic detections using a new probability-based detection quality (PDQ) measure. The goal in creating this challenge is to draw the computer and robotic vision communities together, toward applying object detection solutions for practical robotics applications.

研究动机与目标

• 解决当前缺乏评估机器人应用中目标检测不确定性基准的问题。
• 创建一个逼真的测试数据集，模拟具有时间相关性、光照变化和相机高度变化的机器人感知视频。
• 推动开发能够表达校准良好空间与语义不确定性的目标检测器。
• 通过隐藏训练数据并使用类似COCO的类别，鼓励模型在数据集外的泛化能力。
• 提供基于PDQ度量的标准化评估框架，以奖励准确的不确定性估计。

提出的方法

• 使用具有昼夜光照和三种相机高度的3D仿真环境生成合成视频序列。
• 将概率性目标检测定义为使用高斯分布表示边界框周围的空间不确定性。
• 采用基于概率的检测质量（PDQ）度量，该度量结合了空间质量（通过前景和背景损失）与标签质量（真实类别的预测概率）。
• 使用对数概率损失计算空间质量：$ L_{FG} $ 用于真实框内的像素，$ L_{BG} $ 用于框外但位于检测区域内的像素。
• 计算成对PDQ为几何平均值：$ \operatorname{pPDQ}(\mathcal{G},\mathcal{D}) = \sqrt{Q_S(\mathcal{G},\mathcal{D}) \cdot Q_L(\mathcal{G},\mathcal{D})} $。
• 执行真实标注与检测结果之间的最优匹配，以计算最终平均PDQ，从而提供关于误报、漏检和检测质量的详细反馈。

实验结果

研究问题

• RQ1 如何扩展目标检测，以包含空间与语义不确定性估计，从而支持机器人决策？
• RQ2 现有检测器在多大程度上可被适配，以使用高斯分布输出概率性空间不确定性？
• RQ3 PDQ度量在多大程度上能有效评估并按不确定性校准对检测器进行排名？
• RQ4 在真实机器人感知中，检测召回率、精确率与不确定性校准之间的权衡是什么？
• RQ5 具有时间相关性和多样化视角的模拟视频数据集，是否比静态图像基准更能反映机器人感知数据？

主要发现

• 参赛者1获得最高总体PDQ得分，表明其在空间与语义不确定性校准方面达到最佳平衡。
• 参赛者4在检测到的物体中具有最高的平均pPDQ，但存在较高的漏检率，遗漏了大量真实标注。
• 参赛者2检测到最多的物体且精确率高，但平均质量较低，导致总体PDQ低于参赛者1。
• PDQ度量成功区分了不同系统在不确定性校准方面的表现，奖励了那些表达出准确置信度的系统。
• 包含18个测试序列（3个环境 × 2种光照 × 3种相机高度）和测试开发集123,704张图像的模拟数据集，为时间与空间不确定性评估提供了丰富多样的基准。
• 验证集包含与测试集不同环境的4个序列，证实了在不同环境中具有良好泛化能力的模型获得了更优得分。