[论文解读] Triply Supervised Decoder Networks for Joint Detection and Segmentation

Jiale Cao, Yanwei Pang+1 more|arXiv (Cornell University)|Sep 25, 2018

Advanced Neural Network Applications参考文献 42被引用 4

一句话总结

本文提出TripleNet，一种新颖的全卷积神经网络，通过在每个解码器层上施加三种监督信号——面向检测的监督、类别感知的语义分割和类别无关的语义分割——实现目标检测与语义分割的联合优化。该方法通过轻量级模块（内部连接模块与注意力跳跃连接融合）增强特征学习，在不增加推理阶段计算成本的前提下，在PASCAL VOC2007和VOC2012数据集上实现了最先进性能。

ABSTRACT

Joint object detection and semantic segmentation can be applied to many fields, such as self-driving cars and unmanned surface vessels. An initial and important progress towards this goal has been achieved by simply sharing the deep convolutional features for the two tasks. However, this simple scheme is unable to make full use of the fact that detection and segmentation are mutually beneficial. To overcome this drawback, we propose a framework called TripleNet where triple supervisions including detection-oriented supervision, class-aware segmentation supervision, and class-agnostic segmentation supervision are imposed on each layer of the decoder network. Class-agnostic segmentation supervision provides an objectness prior knowledge for both semantic segmentation and object detection. Besides the three types of supervisions, two light-weight modules (i.e., inner-connected module and attention skip-layer fusion) are also incorporated into each layer of the decoder. In the proposed framework, detection and segmentation can sufficiently boost each other. Moreover, class-agnostic and class-aware segmentation on each decoder layer are not performed at the test stage. Therefore, no extra computational costs are introduced at the test stage. Experimental results on the VOC2007 and VOC2012 datasets demonstrate that the proposed TripleNet is able to improve both the detection and segmentation accuracies without adding extra computational costs.

研究动机与目标

• 解决现有联合学习框架中目标检测与语义分割之间互益有限的问题。
• 通过利用互补的监督信号，提升检测与分割任务的性能。
• 设计一种轻量化架构，即使在多任务监督下也不引入额外推理成本。
• 探索类别无关语义分割作为检测与分割任务先验的有效性。

提出的方法

• 在每个解码器层上施加三种监督信号——面向检测的监督、类别感知的语义分割和类别无关的语义分割——以增强特征表示能力。
• 引入内部连接模块，通过跨通道连接增强每个解码器层内的特征学习。
• 采用基于注意力的跳跃连接融合机制，动态加权并融合编码器与解码器路径的特征，提升特征质量。
• 采用多尺度解码器架构，使每一层能够预测不同尺度的对象，实现多尺度检测。
• 将类别无关语义分割监督作为先验，用于引导检测与分割任务，提升目标性估计性能。
• 仅在训练阶段执行类别感知与类别无关的语义分割；在测试阶段移除这些模块，以避免计算开销。

实验结果

研究问题

• RQ1 在检测与分割任务之间施加联合监督是否能同时提升两个任务的性能？
• RQ2 类别无关语义分割监督是否可作为有效先验，用于提升检测与分割的精度？
• RQ3 轻量级模块（如内部连接模块与基于注意力的跳跃连接融合）是否能在不增加推理成本的前提下增强特征学习？
• RQ4 是否可能在不增加推理阶段计算成本的前提下，实现在检测与分割任务上的最先进性能？
• RQ5 与现有联合检测与分割方法相比，所提出的TripleNet在精度与效率方面表现如何？

主要发现

• 在PASCAL VOC2007测试集上，TripleNet实现了82.7%的平均精度（mAP），优于所有最先进方法，包括SSD、DSSD和BlitzNet。
• 在PASCAL VOC2012数据集上，TripleNet实现了82.9%的平均交并比（mIoU），较BlitzNet高出7.3个百分点。
• 与BlitzNet相比，该方法在检测mAP上提升2.0%，在分割mIoU上提升7.3%，展现出显著的性能增益。
• 所提出的TripleNet在不引入任何额外推理成本的前提下，实现了检测与分割任务的最先进性能。
• 消融实验证实，类别无关语义分割监督显著提升了性能，尤其在目标检测任务中效果明显。
• 注意力跳跃连接融合与内部连接模块通过消融实验验证了其在提升特征表示方面的贡献，结果在两个数据集上均得到证实。