[论文解读] SCNet: Training Inference Sample Consistency for Instance Segmentation

Thang Vu, Haeyong Kang+1 more|arXiv (Cornell University)|Dec 18, 2020

Advanced Neural Network Applications被引用 7

一句话总结

SCNet 提出了一种样本一致性训练策略，以对齐实例分割中训练与推理之间的 IoU 分布，减少检测头输出的差异。通过在训练和推理过程中均仅使用最终检测头进行掩码预测，结合特征中继和全局上下文建模，SCNet 在保持模型复杂度不变的前提下，将掩码 AP 提升 2.3 个百分点，框 AP 提升 1.3 个百分点，同时实现 38% 的推理速度提升。

ABSTRACT

Cascaded architectures have brought significant performance improvement in object detection and instance segmentation. However, there are lingering issues regarding the disparity in the Intersection-over-Union (IoU) distribution of the samples between training and inference. This disparity can potentially exacerbate detection accuracy. This paper proposes an architecture referred to as Sample Consistency Network (SCNet) to ensure that the IoU distribution of the samples at training time is close to that at inference time. Furthermore, SCNet incorporates feature relay and utilizes global contextual information to further reinforce the reciprocal relationships among classifying, detecting, and segmenting sub-tasks. Extensive experiments on the standard COCO dataset reveal the effectiveness of the proposed method over multiple evaluation metrics, including box AP, mask AP, and inference speed. In particular, while running 38\% faster, the proposed SCNet improves the AP of the box and mask predictions by respectively 1.3 and 2.3 points compared to the strong Cascade Mask R-CNN baseline. Code is available at \url{https://github.com/thangvubk/SCNet}.

研究动机与目标

• 解决级联实例分割模型中训练与推理之间 IoU 分布不匹配的问题。
• 通过确保训练样本反映与推理相同的 IoU 分布，提升泛化能力和检测精度。
• 通过显式特征流和全局上下文建模，增强检测、分类与分割任务之间的协同作用。
• 在不增加模型复杂度的前提下，实现更高的精度与更快的推理速度。

提出的方法

• 通过在训练和推理过程中均仅使用最终检测头的输出进行掩码预测，引入样本一致性，使 IoU 分布与推理对齐。
• 采用特征中继，显式地将优化后的框特征传递至掩码分支，增强特征层级的交互。
• 引入全局上下文分支，提供长距离上下文特征，提升掩码预测的鲁棒性。
• 使用可学习的损失权重调节全局上下文分支，平衡局部与全局监督。
• 在各阶段使用共享特征的 RoIAlign，减少冗余，加速推理。
• 设计统一网络，使所有组件联合训练，以优化实例分割性能。

实验结果

研究问题

• RQ1 训练与推理之间 IoU 分布的差异如何影响实例分割性能？
• RQ2 在训练过程中对齐 IoU 分布是否能提升泛化能力和推理精度？
• RQ3 检测头与分割头之间显式特征流对分割质量有何影响？
• RQ4 全局上下文建模如何提升对模糊或遮挡物体的掩码预测性能？
• RQ5 样本一致性与架构增强能否共同提升精度与推理速度？

主要发现

• 与 Cascade Mask R-CNN 相比，SCNet 将掩码 AP 提升 2.3 个百分点（从 37.4 提升至 39.8），框 AP 提升 1.3 个百分点（从 43.3 提升至 44.6）——注：原文中 'from 43.3 to 33.6' 明显为笔误，应为 'from 43.3 to 44.6'，已更正。
• 该模型比基线模型快 38%，在有效样本一致性的支持下，实现 6.5 fps 的推理速度。
• 在 Cascade Mask R-CNN 中引入特征中继，仅增加少量计算开销，即可将掩码 AP 提升 0.6 个百分点。
• 采用损失权重为 3 的全局上下文建模时性能最佳，相比无全局上下文，掩码 AP 提升 0.8 个百分点。
• 结合样本一致性与特征中继后，特征中继模块数量从 3 个减少至 1 个，提升效率且不损失性能。
• 消融实验证实，有效的样本一致性对精度与速度的提升至关重要，优于简单的样本一致性策略。