[论文解读] Region Rebalance for Long-Tailed Semantic Segmentation

Jiequan Cui, Yuhui Yuan+5 more|arXiv (Cornell University)|Apr 5, 2022

Advanced Neural Network Applications被引用 8

一句话总结

本文提出Region Rebalance，一种新颖方法，通过将相关像素分组为区域，并在区域级特征上通过辅助训练分支应用重加权分类器，以解决长尾语义分割中的类别不平衡问题。该方法在多个模型架构上实现了稳定的mIoU提升，例如在ADE20K数据集上使BEiT的mIoU提升+0.7%，通过解决像素级训练与基于IoU的评估之间的错位问题。

ABSTRACT

In this paper, we study the problem of class imbalance in semantic segmentation. We first investigate and identify the main challenges of addressing this issue through pixel rebalance. Then a simple and yet effective region rebalance scheme is derived based on our analysis. In our solution, pixel features belonging to the same class are grouped into region features, and a rebalanced region classifier is applied via an auxiliary region rebalance branch during training. To verify the flexibility and effectiveness of our method, we apply the region rebalance module into various semantic segmentation methods, such as Deeplabv3+, OCRNet, and Swin. Our strategy achieves consistent improvement on the challenging ADE20K and COCO-Stuff benchmark. In particular, with the proposed region rebalance scheme, state-of-the-art BEiT receives +0.7% gain in terms of mIoU on the ADE20K val set.

研究动机与目标

• 解决语义分割中的类别不平衡问题，其中长尾数据分布导致稀有类别性能较差。
• 指出像素级重加权无法提升mIoU，原因在于交叉熵损失与基于IoU的评估指标之间存在错位。
• 通过将重加权从像素级别转移到区域级别，克服像素相关性带来的非独立同分布（non-i.i.d.）问题。
• 开发一种灵活的即插即用模块，无需修改主分割网络即可提升性能。
• 在多种架构和基准测试（包括ADE20K和COCO-Stuff164K）上展示一致的性能增益。

提出的方法

• 使用连通组件上的空间平均池化，将同一语义类别的像素特征聚合成区域特征。
• 引入一个辅助区域分类分支，在训练过程中对区域级特征应用平衡的Softmax损失。
• 在训练中联合优化主分割头的像素交叉熵损失和区域分支的平衡Softmax损失。
• 使用超参数λ来平衡总训练目标中的像素损失与区域损失项。
• 在推理阶段移除区域分支，保持原始分割网络不变。
• 利用区域级类别频率比像素级频率更均衡的事实，实现更有效的重加权。

实验结果

研究问题

• RQ1 为何在长尾语义分割中，尽管像素准确率得到提升，像素级重加权仍无法改善mIoU？
• RQ2 相邻像素之间的空间相关性如何削弱基于类别频率的像素级重加权的有效性？
• RQ3 区域级分类能否为长尾语义分割中的重加权提供更有效且更稳定的信号？
• RQ4 所提出的区域重加权方法是否能在不同架构和基准上实现泛化？
• RQ5 将区域级重加权与标准像素交叉熵损失结合，对整体分割性能有何影响？

主要发现

• 当应用于BEiT时，Region Rebalance在ADE20K验证集上实现了+0.7%的mIoU提升，成为提交时的新SOTA结果。
• 在ADE20K数据集上，该方法使OCRNet、DeepLabv3+、Swin和BEiT的mIoU分别提升了+1.21%、+1.61%、+1.22%和+0.7%。
• 在COCO-Stuff164K数据集上，该方法持续提升了低频类别的IoU，例如“shower”类别的mIoU从0提升至6.14。
• 消融实验表明，仅使用区域分支即可在COCO-Stuff164K上带来显著增益，表明在高度不平衡设置下具有更强的正则化效果。
• 该方法对超参数λ具有鲁棒性，最优性能出现在[0.1, 0.3]范围内，即使单独使用Dice损失时仍保持有效。
• 像素交叉熵损失与区域级平衡Softmax损失的结合取得了最佳性能（45.02 mIoU），而仅使用Dice损失则导致性能急剧下降至1.14 mIoU。