[论文解读] One Metric to Measure them All: Localisation Recall Precision (LRP) for Evaluating Visual Detection Tasks

Kemal Öksüz, Barış Can Çam+2 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Neural Network Applications被引用 4

一句话总结

本文提出局部定位召回精确度误差（LRP Error）作为评估视觉检测任务的统一、完整且可解释的度量指标，解决了平均精度（AP）和全景质量（PQ）的关键局限性。LRP Error 通过将定位精度、召回率和精确率整合为单一误差分数来量化检测性能，最优 LRP（oLRP）则识别每个检测器的最佳置信度阈值，其在七个检测任务和十个数据集上的判别能力优于 AP。

ABSTRACT

Despite being widely used as a performance measure for visual detection tasks, Average Precision (AP) is limited in (i) reflecting localisation quality, (ii) interpretability and (iii) robustness to the design choices regarding its computation, and its applicability to outputs without confidence scores. Panoptic Quality (PQ), a measure proposed for evaluating panoptic segmentation (Kirillov et al., 2019), does not suffer from these limitations but is limited to panoptic segmentation. In this paper, we propose Localisation Recall Precision (LRP) Error as the average matching error of a visual detector computed based on both its localisation and classification qualities for a given confidence score threshold. LRP Error, initially proposed only for object detection by Oksuz et al. (2018), does not suffer from the aforementioned limitations and is applicable to all visual detection tasks. We also introduce Optimal LRP (oLRP) Error as the minimum LRP Error obtained over confidence scores to evaluate visual detectors and obtain optimal thresholds for deployment. We provide a detailed comparative analysis of LRP Error with AP and PQ, and use nearly 100 state-of-the-art visual detectors from seven visual detection tasks (i.e. object detection, keypoint detection, instance segmentation, panoptic segmentation, visual relationship detection, zero-shot detection and generalised zero-shot detection) using ten datasets to empirically show that LRP Error provides richer and more discriminative information than its counterparts. Code available at: https://github.com/kemaloksuz/LRP-Error

研究动机与目标

• 为解决平均精度（AP）在反映定位质量、可解释性以及对阈值选择敏感性方面的局限性，提升视觉检测任务的评估能力。
• 提出一种适用于所有视觉检测任务（包括目标检测、关键点检测、实例分割、全景分割、视觉关系检测和零样本检测）的统一评估指标，且无需依赖置信度分数。
• 引入最优 LRP（oLRP）误差作为阈值优化的性能度量，以识别部署时的最佳置信度阈值。
• 通过实证分析证明，LRP 误差在多样化的检测任务和数据集中，相较于 AP 和 PQ 提供了更丰富、更具判别力的性能洞察。

提出的方法

• LRP 误差定义为检测器的平均匹配误差，基于置信度分数阈值，结合定位误差、假阳性率和假阴性率计算得出。
• 该度量将定位质量（基于 IoU）、召回率（TP/(TP+FN)）和精确率（TP/(TP+FP)）整合为单一误差分数，数值越低表示性能越好。
• 最优 LRP（oLRP）误差为所有置信度分数阈值中 LRP 误差的最小值，用于识别部署时性能最佳的阈值。
• 该方法应用于涵盖 10 个数据集的 98 个最先进检测器，覆盖 7 个视觉检测任务，包括目标检测、实例分割、全景分割和零样本检测。
• 方法采用基于 IoU 的边界框和掩码匹配策略，并通过无阈值依赖的公式化方法处理无置信度分数的检测器。
• 通过与 AP 和 PQ 的对比分析、阈值敏感性消融实验以及类别特定阈值分析，对框架进行了验证。

Figure 1 : Three different object detection results (for an image from COCO [ 1 ] ) with very different PR curves but the same AP. First Row : Blue, white and orange colors denote ground-truth, TPs and FPs respectively. Numbers are confidence scores, $s$ , of the detections. Second row : PR curves f

实验结果

研究问题

• RQ1 单一度量能否有效评估多样化视觉检测任务中的定位、分类和检测质量？
• RQ2 LRP 误差在完整性、可解释性以及对阈值选择的鲁棒性方面，与 AP 和 PQ 相比表现如何？
• RQ3 oLRP 误差是否在不同检测器和数据集中一致地识别出最优置信度阈值？
• RQ4 LRP 误差在多大程度上揭示了 AP 无法捕捉的性能差异，尤其是在定位质量方面？
• RQ5 类别特定的 LRP-最优阈值是否能在长尾分布和零样本检测场景中提升检测器性能？

主要发现

• LRP 误差在判别能力上优于 AP：在 COCO 数据集上对三个检测结果的案例研究中，AP 对三者赋予相同值，尽管其定位质量存在显著差异，而 oLRP 误差正确惩罚了定位最差的结果。
• oLRP 误差识别出的最优阈值显著提升了性能：在视频目标检测用例中，类别特定的 oLRP 阈值使 AP50 最高提升 9 个百分点，oLRP 误差降低 4 个百分点，优于固定阈值。
• oLRP 阈值在不同类别间分布差异显著：LVIS 数据集中 70% 的稀有类别 oLRP 阈值为 0.0，表明固定阈值在长尾数据集中表现不佳。
• 在零样本和广义零样本检测中，oLRP 阈值对未见类别的值始终较低，证实了类别特定阈值的必要性。
• 平均而言，oLRP 误差提供的性能洞察比 AP 更具信息量：定位差或假阳性率高的检测器被明确惩罚，而 AP 则掩盖了此类问题。
• 该方法在各类任务中均具鲁棒性：LRP 误差成功应用于七个视觉检测任务（包括全景分割），实现了稳定且有意义的性能排序。

(a) Object Detection