[论文解读] Path Aggregation Network for Instance Segmentation

Shu Liu, Lu Qi+3 more|arXiv (Cornell University)|Mar 5, 2018

Advanced Neural Network Applications参考文献 66被引用 350

一句话总结

PANet 通过增加自下而上的路径增强、对所有特征层的自适应特征池化，以及互补的掩码预测分支，提升 Mask R-CNN 风格架构的信息流，在 COCO、Cityscapes 和 MVD 上无需大批量训练便取得顶级结果。

ABSTRACT

The way that information propagates in neural networks is of great importance. In this paper, we propose Path Aggregation Network (PANet) aiming at boosting information flow in proposal-based instance segmentation framework. Specifically, we enhance the entire feature hierarchy with accurate localization signals in lower layers by bottom-up path augmentation, which shortens the information path between lower layers and topmost feature. We present adaptive feature pooling, which links feature grid and all feature levels to make useful information in each feature level propagate directly to following proposal subnetworks. A complementary branch capturing different views for each proposal is created to further improve mask prediction. These improvements are simple to implement, with subtle extra computational overhead. Our PANet reaches the 1st place in the COCO 2017 Challenge Instance Segmentation task and the 2nd place in Object Detection task without large-batch training. It is also state-of-the-art on MVD and Cityscapes. Code is available at https://github.com/ShuLiu1993/PANet

研究动机与目标

• 推动基于提案的实例分割框架中的信息流改进。
• 通过自下而上的增强缩短信息路径来增强定位信号。
• 通过自适应池化使每个提案能够访问来自所有特征层的信息。
• 用互补的预测路径增强掩码分支以提高掩码质量。
• 在 COCO、Cityscapes 和 MVD 数据集上展示最先进的性能且无需大批量训练。

提出的方法

• 引入自下而上的路径增强，以缩短从低层特征到顶层特征的信息路径。
• 开发自适应特征池化，用于对每个提案融合来自所有金字塔层的特征。
• 在掩码预测分支中添加互补路径，使用一个小型全连接（fc）融合分支来丰富掩码预测。
• 使用 ROIAlign 对来自多个层的特征进行池化，以用于框和掩码预测，随后进行 max/sum 融合并进行逐层参数学习。
• 融合基于 FCN 的分支与 FC（fully-connected）分支的预测，以提高掩码质量。
• 保持与现有骨干网络（如 ResNet 变体）的兼容性并端到端训练。

实验结果

研究问题

• RQ1 自下而上的路径增强是否能改进定位信号以及超越来自顶层 FPN 路径的特征的整体实例分割性能？
• RQ2 对每个提案聚合来自所有特征金字塔层的信息的自适应特征池化，是否比按层分配的池化产生更好的预测？
• RQ3 掩码分支中的互补的基于 fc 的路径是否能够在不带来过高计算负担的情况下提升掩码质量？
• RQ4 在单尺度和多尺度训练/测试条件下，所提出的 PANet 组件如何影响 COCO、Cityscapes 与 MVD 数据集上的性能？

主要发现

• PANet 在 COCO 2017 Instance Segmentation（第一名）和 Object Detection（第二名）上取得了最先进的结果，且无需大批量训练。
• 自适应特征池化使提案能够利用来自多个特征层的信息，从而提升小尺寸和大尺寸实例的性能。
• 自下而上的路径增强在掩码 AP 和框 AP 上相对于基线呈现持续的提升，特别是对大尺度实例。
• 掩码分支的全连接融合在掩码质量上提供了额外提升，有助于整体改进。
• 消融研究表明，结合自下而上的增强、自适应池化和 fc 融合相对于在 COCO val2017 上重新实现的基线可带来显著增益（尤其是在 mask AP 和 box AP）。
• PANet 也在 Cityscapes 和 MVD 上取得了强劲的结果，显示出对数据集的鲁棒性。