[论文解读] On Model Calibration for Long-Tailed Object Detection and Instance Segmentation

Tai-Yu Pan, Cheng Zhang+6 more|arXiv (Cornell University)|Jul 5, 2021

Advanced Neural Network Applications参考文献 69被引用 27

一句话总结

NorCal 引入了一种后处理的校准方法，通过训练样本量重新加权各类别分数，并在类别间对分数进行归一化，在不重新训练的情况下提升对长尾LVIS的性能。

ABSTRACT

Vanilla models for object detection and instance segmentation suffer from the heavy bias toward detecting frequent objects in the long-tailed setting. Existing methods address this issue mostly during training, e.g., by re-sampling or re-weighting. In this paper, we investigate a largely overlooked approach -- post-processing calibration of confidence scores. We propose NorCal, Normalized Calibration for long-tailed object detection and instance segmentation, a simple and straightforward recipe that reweighs the predicted scores of each class by its training sample size. We show that separately handling the background class and normalizing the scores over classes for each proposal are keys to achieving superior performance. On the LVIS dataset, NorCal can effectively improve nearly all the baseline models not only on rare classes but also on common and frequent classes. Finally, we conduct extensive analysis and ablation studies to offer insights into various modeling choices and mechanisms of our approach. Our code is publicly available at https://github.com/tydpan/NorCal/.

研究动机与目标

• 激励并解决在对象检测和实例分割中超越训练阶段技术的长尾偏差。
• 提出一个简单的、与模型无关的后处理校准方法（NorCal），适用于预训练检测器。
• 证明跨类别的分数归一化结合基于类别规模的重新加权能在 LVIS 上改善罕见、常见和频繁类别的检测与分割。
• 表明 NorCal 能同时提升 AP 和 AP Fixed 指标，表明在不牺牲频繁类别性能的情况下提升了每个类别内部的排序。

提出的方法

• 对预训练检测器的分类子网络应用后处理校准。
• 通过一个单一超参数 gamma，将每个前景类别的对数几率（logit）按依赖于该类别训练规模 N_c 的因子 a_c 重新缩放，a_c = N_c^gamma。
• 将分类概率分解为前景与背景的独立建模，保持背景的 logit 不变。
• 在所有前景类别（在分母中包含背景）上对调整后的类别分数进行归一化，以在每个类别内重新排序提案。
• 可选地将 NorCal 扩展到多个二元 sigmoid 分类器，通过对指数或概率进行标定而不是 logits，同时注意归一化的挑战。
• 在训练数据上调优 gamma，只需要一个超参数且不需要保留验证集。

实验结果

研究问题

• RQ1 通过训练集类别频率调节的类别置信度的后处理校准，是否能降低长尾检测器的头部偏置预测？
• RQ2 在所有类别上对校准分数进行归一化并正确处理背景类别，是否能改善 LVIS 上罕见、常见和频繁类别的排序与指标？
• RQ3 NorCal 是否对模型无关，并且在具备 softmax 和多 binary 分类器的检测器上都有效？
• RQ4 在鲁棒性和性能方面，NorCal 相较于现有的后校准方法在各种基于 LVIS 的任务中表现如何？

主要发现

• NorCal 在 LVIS v1 上对基线检测器在对象检测和实例分割方面均有持续改进，涵盖罕见、常见和频繁类别。
• 跨类别的分数归一化至关重要；若不归一化，罕见类别的提升难以实现，且频繁类别的性能可能下降。
• 单一超参数 gamma 控制校准强度，可以使用训练数据进行稳健调优。
• Compared to other post-calibration methods, NorCal achieves larger gains with one hyper-parameter and explicit score normalization.
• NorCal 同时提升了 AP 和 AP Fixed 指标，表明在不牺牲频繁类别性能的情况下提高了每个类别内部的排序。