[论文解读] Shape-aware Feature Extraction for Instance Segmentation.

Hao Ding, Siyuan Qiao+2 more|arXiv (Cornell University)|Nov 25, 2019

Advanced Neural Network Applications参考文献 35被引用 4

一句话总结

本文提出 Shape-aware RoIAlign，一种新颖的特征提取策略，通过将 RoI 特征对齐到预测的掩码形状而非矩形边界框来优化特征，从而提升拥挤场景中的实例分割性能。该方法在 COCO 数据集上显著提升性能，优于多种主干网络的标准 Mask R-CNN。

ABSTRACT

Modern instance segmentation approaches mainly adopt a sequential paradigm - ``detect then segment'', as popularized by Mask R-CNN, which have achieved considerable progress. However, they usually struggle to segment huddled instances, i.e., instances which are crowded together. The essential reason is the detection step is only learned under box-level supervision. Without the guidance from the mask-level supervision, the features extracted from the regions containing huddled instances are noisy and ambiguous, which makes the detection problem ill-posed. To address this issue, we propose a new region-of-interest (RoI) feature extraction strategy, named Shape-aware RoIAlign, which focuses feature extraction within a region aligned well with the shape of the instance-of-interest rather than a rectangular RoI. We instantiate Shape-aware RoIAlign by introducing a novel refining module built upon Mask R-CNN, which takes the mask predicted by Mask R-CNN as the region to guide the computation of Shape-aware RoIAlign. Based on the RoI features re-computed by Shape-aware RoIAlign, the refining module updates the bounding box as well as the mask predicted by Mask R-CNN. Experimental results show that the refining module equipped with Shape-aware RoIAlign achieves consistent and remarkable improvements than Mask R-CNN models with different backbones, respectively, on the challenging COCO dataset. The code will be released.

研究动机与目标

• 解决实例分割中密集重叠实例的分割挑战，其中重叠物体导致性能下降。
• 克服检测头中基于框的监督带来的局限性，该局限性在拥挤区域导致噪声大且模糊的特征。
• 通过在 RoI 特征提取过程中引入掩码级监督，提升重叠实例区域的特征质量。
• 开发一个精炼模块，利用预测的掩码引导空间对齐并重新计算 RoI 特征，以提升边界框和掩码预测性能。

提出的方法

• 提出 Shape-aware RoIAlign，一种修改后的 RoI 对齐策略，使用实例的预测掩码作为形状感知的感兴趣区域，而非固定的矩形 RoI。
• 设计一个精炼模块，将 Mask R-CNN 初始的掩码预测作为空间引导，利用 Shape-aware RoIAlign 重新计算 RoI 特征。
• 使用精炼后的 RoI 特征更新边界框和掩码预测，提升定位和分割精度。
• 将精炼模块集成到 Mask R-CNN 框架中，采用端到端训练，使模型在特征提取过程中能从掩码级监督中学习。
• 使用预测的掩码作为空间掩码，将特征采样限制在实际实例形状范围内，减少邻近物体的干扰。

实验结果

研究问题

• RQ1 掩码级监督是否能改善基于框监督失效的拥挤区域中的特征质量？
• RQ2 将 RoI 特征对齐到预测的实例形状而非矩形框，是否能带来更好的分割性能？
• RQ3 基于 Shape-aware RoIAlign 的精炼模块是否能在不同主干网络上一致地提升实例分割基准的性能？
• RQ4 Shape-aware RoIAlign 在处理密集或重叠实例时，与标准 RoIAlign 相比表现如何？

主要发现

• Shape-aware RoIAlign 在 COCO 数据集上，针对多种主干网络，均实现了与标准 Mask R-CNN 相比一致且显著的性能提升。
• 结合 Shape-aware RoIAlign 的精炼模块显著提升了边界框和掩码预测质量，尤其在存在重叠实例的拥挤场景中表现更优。
• 该方法通过在特征提取过程中聚焦于实际实例形状，有效减少了重叠区域的噪声和模糊特征。
• 性能提升可量化衡量，报告了在 COCO 上的改进结果，尽管提供的文本中未明确具体 mAP 值。