[论文解读] Reduced Focal Loss: 1st Place Solution to xView object detection in Satellite Imagery

Nikolay Sergievskiy, Alexander Ponamarev|arXiv (Cornell University)|Mar 4, 2019

Advanced Neural Network Applications参考文献 4被引用 26

一句话总结

本文提出了一种新型损失函数——简化焦点损失（Reduced Focal Loss, RFL），通过降低对难样本和误标注样本的关注度，同时保留难样本挖掘能力，缓解了卫星图像目标检测中的类别不平衡问题。RFL 提升了罕见类别的召回率，在 xView 2018 检测挑战赛中取得第一名，公开排行榜 mAP 达 31.74，私有排行榜 mAP 达 29.32，采用模型集成与推理时数据增强的方法。

ABSTRACT

This paper describes our approach to the DIUx xView 2018 Detection Challenge [1]. This challenge focuses on a new satellite imagery dataset. The dataset contains 60 object classes that are highly imbalanced. Due to the imbalanced nature of the dataset, the training process becomes significantly more challenging. To address this problem, we introduce a novel Reduced Focal Loss function, which brought us 1st place in the DIUx xView 2018 Detection Challenge.

研究动机与目标

• 解决 xView 卫星图像数据集中极端的类别不平衡问题，其中罕见类别如铁路车辆（仅 100 个实例）远少于常见类别如小型汽车（20 万个以上实例）。
• 克服标准焦点损失的局限性，后者因过度关注难样本而降低了 RPN 的召回率，损害了两阶段 Faster R-CNN 检测器的设计初衷。
• 开发一种损失函数，在保持难样本挖掘能力的同时，降低对误标注和难样本的敏感性，从而提升罕见类别上的性能。
• 通过结合改进的损失函数与数据层面的正则化（如对频繁类别进行随机下采样），提升模型在罕见类别上的泛化能力与 mAP。

提出的方法

• 提出简化焦点损失（Reduced Focal Loss, RFL），作为焦点损失的改进版本，通过基于阈值的截断因子，降低置信度低于阈值（如 RPN 中为 0.5，Fast R-CNN 中为 0.25）的正样本的损失梯度。
• 定义截断因子 f(pt, th)，使得当 pt < th 时，损失保持不变；当 pt ≥ th 时，损失按 (1-pt)^γ / th^γ 缩放，从而对低置信度预测实现损失软化。
• 在低损失区域（pt < 0.5）内置焦点损失与交叉熵之间的切换机制，降低罕见或误标注样本的极端影响，同时仍能抑制分类正确的样本。
• 在训练过程中对最频繁的类别（小型汽车与建筑物）实施随机下采样，以进一步缓解类别不平衡，下采样概率可配置。
• 使用两阶段训练流程训练 Faster R-CNN 模型（FPN 主干网络，ResNet-50），首先进行 24 小时的训练并应用学习率衰减，随后在训练集与验证集合并的数据上进行微调。
• 采用推理时数据增强与模型集成策略，结合多种模型（如不同尺度、旋转角度和网络架构）并使用改进的投票机制，以提升最终性能。

实验结果

研究问题

• RQ1 在高度不平衡的卫星图像上应用标准焦点损失时，其对两阶段目标检测器中 RPN 召回率有何影响？
• RQ2 能否通过修改损失函数，在不牺牲难样本挖掘能力的前提下，减轻难样本与误标注样本对训练的负面影响？
• RQ3 对频繁类别进行随机下采样在多大程度上能提升卫星图像目标检测中罕见类别的 mAP？
• RQ4 将 Reduced Focal Loss 与数据层面正则化（下采样）结合，是否能带来优于单一方法的性能提升？
• RQ5 在 xView 数据集上，结合推理时数据增强的模型集成能否进一步提升 mAP，超越单个模型的性能？

主要发现

• Reduced Focal Loss 在验证集上达到 28.32 mAP，显著优于标准焦点损失（19.01 mAP）与基线 SSD（21.78 mAP）。
• 使用 Reduced Focal Loss 的模型在公开排行榜上取得 31.74 mAP，在私有排行榜上取得 29.32 mAP，成功斩获 xView 2018 检测挑战赛第一名。
• 与标准焦点损失相比，RFL 将罕见类别的平均召回率提升了 10.5 个百分点（从 0.66 提升至 0.775 mRecall），证明其在处理类别不平衡问题上的有效性。
• 对小型汽车与建筑物类别进行随机下采样进一步提升了罕见类别的 mAP，优于在完整数据集上训练的模型。
• 最终的集成模型结合推理时数据增强后，在公开排行榜上达到 31.74 mAP，表明通过多样化增强策略的多模型集成能显著提升性能。
• 消融实验确认，RFL 有效缓解了标准焦点损失导致的 RPN 召回率下降问题，保持了两阶段检测器中 RPN 最大化召回率的设计原则。