[论文解读] Seesaw Loss for Long-Tailed Instance Segmentation

Jiaqi Wang, Wenwei Zhang+8 more|arXiv (Cornell University)|Aug 23, 2020

Advanced Neural Network Applications参考文献 57被引用 5

一句话总结

本文提出 Seesaw Loss，一种动态自校准损失函数，通过应用缓解因子减少对尾部类别的过度惩罚，并通过补偿因子防止误报，从而在长尾实例分割中重新平衡梯度。该方法在 LVIS 数据集上实现了最先进性能，相较于使用 Mask R-CNN 的交叉熵损失，mAP 提升 6.0%；使用 Cascade Mask R-CNN 时，mAP 提升 6.4%，且仅采用简单的端到端训练流程，无需额外技巧。

ABSTRACT

Instance segmentation has witnessed a remarkable progress on class-balanced benchmarks. However, they fail to perform as accurately in real-world scenarios, where the category distribution of objects naturally comes with a long tail. Instances of head classes dominate a long-tailed dataset and they serve as negative samples of tail categories. The overwhelming gradients of negative samples on tail classes lead to a biased learning process for classifiers. Consequently, objects of tail categories are more likely to be misclassified as backgrounds or head categories. To tackle this problem, we propose Seesaw Loss to dynamically re-balance gradients of positive and negative samples for each category, with two complementary factors, i.e., mitigation factor and compensation factor. The mitigation factor reduces punishments to tail categories w.r.t. the ratio of cumulative training instances between different categories. Meanwhile, the compensation factor increases the penalty of misclassified instances to avoid false positives of tail categories. We conduct extensive experiments on Seesaw Loss with mainstream frameworks and different data sampling strategies. With a simple end-to-end training pipeline, Seesaw Loss obtains significant gains over Cross-Entropy Loss, and achieves state-of-the-art performance on LVIS dataset without bells and whistles. Code is available at https://github.com/open-mmlab/mmdetection.

研究动机与目标

• 解决实例分割模型在长尾数据集上表现不佳的问题，其中头部类别占主导地位，导致将尾部类别误分类为背景或头部类别。
• 克服因头部类别产生大量负样本而导致的尾部类别训练过程中梯度失衡问题。
• 开发一种损失函数，基于实时类别样本累积和误分类模式动态调整梯度，而无需依赖预计算的数据分布。
• 在无需复杂数据采样或解耦训练流程的情况下，实现在 LVIS 等长尾基准上的最先进性能。
• 确保方法对数据分布不敏感，并兼容任意数据采样策略及主流实例分割框架。

提出的方法

• 提出 Seesaw Loss，通过缓解与补偿两个互补因子，对每个类别动态重新平衡梯度。
• 应用缓解因子，根据类别间训练样本累积比例，缩放尾部类别负样本的损失梯度。
• 应用补偿因子，提高对尾部类别误分类样本的惩罚，以减少误报。
• 利用训练过程中的实时累积样本计数，近似真实数据分布，实现动态且自校准的梯度平衡。
• 将 Seesaw Loss 无缝集成到 Mask R-CNN 和 Cascade Mask R-CNN 等目标检测器的分类分支中，无需架构修改。
• 结合强训练组件（如 TSD、CARAFE、增强颈部结构和双头分类）以进一步提升性能。

实验结果

研究问题

• RQ1 如何在不依赖静态重加权的情况下，有效缓解长尾数据分布引起的实例分割梯度失衡？
• RQ2 能否通过一种自适应实时训练统计的动态损失函数，在不增加误报的前提下提升尾部类别的性能？
• RQ3 与标准交叉熵损失相比，Seesaw Loss 在 LVIS 等长尾基准上的实例分割准确率提升程度如何？
• RQ4 Seesaw Loss 在不同检测框架和数据采样策略（包括随机采样与重复因子采样）下是否均有效？
• RQ5 Seesaw Loss 是否能消除长尾学习中对复杂解耦训练流程的依赖？

主要发现

• 在使用 Mask R-CNN 和随机采样时，Seesaw Loss 相较于交叉熵损失，在 LVIS v1 验证集上实现了 mAP 绝对提升 6.0%。
• 在重复因子采样下，Seesaw Loss 在相同 Mask R-CNN 设置下相较交叉熵损失实现 mAP 提升 2.1%。
• 在 Cascade Mask R-CNN 上，Seesaw Loss 在随机采样下实现 mAP 提升 6.4%，在重复因子采样下实现 mAP 提升 2.3%，展现出强大的泛化能力。
• 使用单一 HTC-Lite 模型，在 LVIS 测试开发集上达到 38.92% mAP，仅依赖 ImageNet-1k 预训练，无需外部数据或标注。
• 在 ImageNet-LT 长尾图像分类基准上，Seesaw Loss 显著提升分类准确率 6%，表明其在实例分割之外也具备广泛适用性。
• 消融实验证实，即使结合 TSD、CARAFE 和双头分类等强组件，Seesaw Loss 仍优于现有方法，表明其作为即插即用模块的有效性。