[论文解读] Tensor Low-Rank Reconstruction for Semantic Segmentation

Wanli Chen, Xinge Zhu+5 more|arXiv (Cornell University)|Aug 2, 2020

Advanced Neural Network Applications参考文献 62被引用 11

一句话总结

该论文提出RecoNet，一种用于语义分割的张量低秩重建框架，可在不进行空间或通道压缩的情况下建模高秩3D上下文特征。通过张量生成模块（TGM）生成秩-1张量，并利用CP分解在张量重建模块（TRM）中进行重建，该方法在多个数据集上实现了最先进性能，且参数量较非局部方法降低100倍以上。

ABSTRACT

Context information plays an indispensable role in the success of semantic segmentation. Recently, non-local self-attention based methods are proved to be effective for context information collection. Since the desired context consists of spatial-wise and channel-wise attentions, 3D representation is an appropriate formulation. However, these non-local methods describe 3D context information based on a 2D similarity matrix, where space compression may lead to channel-wise attention missing. An alternative is to model the contextual information directly without compression. However, this effort confronts a fundamental difficulty, namely the high-rank property of context information. In this paper, we propose a new approach to model the 3D context representations, which not only avoids the space compression but also tackles the high-rank difficulty. Here, inspired by tensor canonical-polyadic decomposition theory (i.e, a high-rank tensor can be expressed as a combination of rank-1 tensors.), we design a low-rank-to-high-rank context reconstruction framework (i.e, RecoNet). Specifically, we first introduce the tensor generation module (TGM), which generates a number of rank-1 tensors to capture fragments of context feature. Then we use these rank-1 tensors to recover the high-rank context features through our proposed tensor reconstruction module (TRM). Extensive experiments show that our method achieves state-of-the-art on various public datasets. Additionally, our proposed method has more than 100 times less computational cost compared with conventional non-local-based methods.

研究动机与目标

• 为解决非局部方法因压缩二维相似度矩阵而导致通道注意力丢失的局限性。
• 直接建模高秩3D上下文特征，避免降维操作。
• 利用张量分解理论克服上下文表征中的高秩挑战。
• 开发一种高效、低计算量的框架，同时保留空间和通道注意力。

提出的方法

• 引入张量生成模块（TGM），沿通道、高度和宽度方向生成秩-1张量，以捕捉碎片化的上下文特征。
• 采用张量CP分解（CP decomposition）从多个低秩张量中重建高秩注意力图。
• 采用渐进式重建策略：将低秩片段组合形成完整的高秩上下文表征。
• 设计重建模块（TRM），融合来自不同视角的秩-1张量的共现上下文信息。
• 在语义分割网络中端到端应用该框架，将非局部模块替换为TGM+TRM组件。
• 使用标准训练协议进行模型优化，损失函数为交叉熵损失并引入辅助监督。

实验结果

研究问题

• RQ1 能否在不压缩空间或通道维度的情况下有效建模高秩3D上下文特征？
• RQ2 如何利用张量CP分解从低秩片段中重建细粒度的上下文信息？
• RQ3 低秩到高秩的重建策略是否在语义分割中优于传统的非局部方法？
• RQ4 该方法能否在显著降低计算成本的前提下实现最先进性能？
• RQ5 各个组件（TGM、TRM、辅助损失）对整体性能提升的贡献如何？

主要发现

• 在Cityscapes验证集上，RecoNet实现了82.3%的mIoU，优于CCNet（81.4%）和DANet（81.5%）等方法。
• 在PASCAL VOC12数据集上，RecoNet取得SOTA性能，表明其在不同数据集上均具有一致优势。
• 在Cityscapes上，TGM+TRM组件使mIoU提升5.8%（从73.1%提升至78.9%），表明其在性能提升中起主导作用。
• 该模型的FLOPs较基于非局部的方法（如CCNet和AsymmetricNL）降低100倍以上。
• 可视化结果表明，各个子注意力图聚焦于不同的图像区域，证实了对长距离依赖的有效建模。
• 消融实验表明，TGM+TRM模块是性能提升的主要驱动力，辅助损失和多尺度推理进一步提升了性能。