[论文解读] Tree-structured Kronecker Convolutional Network for Semantic Segmentation

Tianyi Wu, Sheng Tang+3 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Neural Network Applications参考文献 34被引用 9

一句话总结

本文提出了一种树状结构的克罗内克卷积神经网络（TKCN），通过引入克罗内克卷积来捕捉部分特征信息，同时在不增加参数量的情况下扩展感受野，并采用树状结构的特征聚合（TFA）模块，对多尺度上下文特征进行分层编码。TKCN在PASCAL VOC 2012（83.2% mIoU）、Cityscapes（79.5% mIoU）和PASCAL-Context（51.8% mIoU）上均取得了最先进性能，通过更优的特征利用和分层上下文建模，显著提升了分割精度。

ABSTRACT

Most existing semantic segmentation methods employ atrous convolution to enlarge the receptive field of filters, but neglect partial information. To tackle this issue, we firstly propose a novel Kronecker convolution which adopts Kronecker product to expand the standard convolutional kernel for taking into account the partial feature neglected by atrous convolutions. Therefore, it can capture partial information and enlarge the receptive field of filters simultaneously without introducing extra parameters. Secondly, we propose Tree-structured Feature Aggregation (TFA) module which follows a recursive rule to expand and forms a hierarchical structure. Thus, it can naturally learn representations of multi-scale objects and encode hierarchical contextual information in complex scenes. Finally, we design Tree-structured Kronecker Convolutional Networks (TKCN) which employs Kronecker convolution and TFA module. Extensive experiments on three datasets, PASCAL VOC 2012, PASCAL-Context and Cityscapes, verify the effectiveness of our proposed approach. We make the code and the trained model publicly available at https://github.com/wutianyiRosun/TKCN.

研究动机与目标

• 解决空洞卷积在感受野扩展过程中忽略部分特征信息的局限性。
• 开发一种参数高效的模型，以同时捕捉全局上下文与局部细节，用于语义分割。
• 通过递归的、树状结构的特征聚合机制，建模复杂场景中的分层空间依赖关系。
• 设计一个统一框架，整合克罗内克卷积与分层特征聚合，以提升分割精度。

提出的方法

• 提出使用克罗内克积扩展标准卷积核的克罗内克卷积，以捕捉此前被忽略的特征向量。
• 在克罗内克卷积中引入两个因子：用于控制感受野大小的交叉膨胀因子（r₁）和用于子区域特征捕捉的内部共享因子（r₂）。
• 基于递归分支规则设计树状结构特征聚合（TFA）模块，其中每一层均保留局部特征并聚合长程依赖。
• 在TFA中采用树状架构，自然地学习多尺度表征，而无需依赖固定尺度的特征融合。
• 通过将克罗内克卷积与TFA模块整合到单一端到端可训练的框架中，构建树状结构克罗内克卷积神经网络（TKCN）。
• 在测试阶段采用多尺度推理与平均融合策略，进一步提升所有基准上的性能。

实验结果

研究问题

• RQ1 克罗内克卷积是否能在保持参数效率的同时，有效提升空洞卷积中的特征利用率？
• RQ2 与固定尺度聚合相比，递归的树状结构模块是否能更好地建模复杂场景中的分层上下文关系？
• RQ3 将克罗内克卷积与树状结构聚合相结合，是否能在多样化的语义分割基准上带来一致的性能提升？
• RQ4 在准确率与参数效率方面，所提方法与最先进模型相比表现如何？

主要发现

• TKCN在未使用外部数据集的PASCAL VOC 2012上达到83.2%的平均交并比（mIoU），在未在COCO或JFT上预训练的方法中排名第二。
• 在Cityscapes上，TKCN通过多尺度推理达到79.5% mIoU，优于大多数先前方法，并接近使用更复杂主干网络模型的性能。
• 在PASCAL-Context上，TKCN在多尺度输入下达到51.8% mIoU，超越此前最先进方法的51.6%。
• 消融实验表明，克罗内克卷积与TFA模块均能独立提升性能，两者联合使用相较基线模型提升6.87%。
• 有效特征比（VFR）分析显示，与空洞卷积相比，克罗内克卷积显著提高了特征利用率，尤其在高膨胀率下更为明显。
• 定性结果表明，TKCN生成的分割掩码更精细、更准确，尤其在物体边界和小尺度结构区域表现更优。