[论文解读] Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation

Ping Li, Junjie Chen+3 more|arXiv (Cornell University)|Sep 22, 2023

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出TriKD，一种用于半监督语义分割的三视角知识蒸馏框架，通过使用三种不同的主干网络——卷积神经网络（ConvNet）、视觉Transformer（Vision Transformer）和混合模型——来增强特征多样性并建模全局上下文。通过应用带有空间损失和注意力损失的知识蒸馏，并采用具有频域通道注意力的双频域解码器，TriKD在Pascal VOC 2012和Cityscapes基准上实现了SOTA性能，同时计算成本更低。

ABSTRACT

To alleviate the expensive human labeling, semi-supervised semantic segmentation employs a few labeled images and an abundant of unlabeled images to predict the pixel-level label map with the same size. Previous methods often adopt co-training using two convolutional networks with the same architecture but different initialization, which fails to capture the sufficiently diverse features. This motivates us to use tri-training and develop the triple-view encoder to utilize the encoders with different architectures to derive diverse features, and exploit the knowledge distillation skill to learn the complementary semantics among these encoders. Moreover, existing methods simply concatenate the features from both encoder and decoder, resulting in redundant features that require large memory cost. This inspires us to devise a dual-frequency decoder that selects those important features by projecting the features from the spatial domain to the frequency domain, where the dual-frequency channel attention mechanism is introduced to model the feature importance. Therefore, we propose a Triple-view Knowledge Distillation framework, termed TriKD, for semi-supervised semantic segmentation, including the triple-view encoder and the dual-frequency decoder. Extensive experiments were conducted on two benchmarks, \ie, Pascal VOC 2012 and Cityscapes, whose results verify the superiority of the proposed method with a good tradeoff between precision and inference speed.

研究动机与目标

• 解决现有基于协同训练的半监督语义分割方法中特征多样性有限以及全局上下文建模不足的问题。
• 减少因简单拼接或1×1卷积导致的解码器设计中的特征冗余与内存开销。
• 通过利用卷积神经网络、视觉Transformer及其混合架构的互补表征，提升模型泛化能力。
• 通过将知识蒸馏到轻量化学生网络中，在保持性能的同时实现高效推理。

提出的方法

• 引入一种三视角编码器，采用三种不同的主干网络：纯卷积神经网络用于捕捉局部空间细节，纯视觉Transformer用于建模长程全局上下文，混合卷积神经网络-视觉Transformer用于互补特征学习。
• 采用知识蒸馏，包含两个损失组件：空间损失用于传递低层次的局部结构，注意力损失用于传递高层次的全局语义，从教师模型向学生网络迁移知识。
• 设计一种双频域解码器，通过快速傅里叶变换将特征从空间域映射到频域，实现频域中的特征重要性建模。
• 应用双频域通道注意力机制，在降维前选择性保留关键特征，最大限度减少信息损失。
• 使用交叉伪标签监督损失以增强学生与教师预测之间的一致性，并引入可学习超参数以平衡弱监督信号。
• 通过联合使用有监督损失（在有标签数据上）、知识蒸馏损失和交叉伪标签监督损失来训练学生网络，推理时仅使用轻量级的混合卷积神经网络-视觉Transformer结构。

实验结果

研究问题

• RQ1 在三视角编码器中使用三种不同的主干网络架构，是否能显著提升半监督语义分割中的特征多样性与模型泛化能力？
• RQ2 结合空间损失与基于注意力的损失的知识蒸馏，是否能有效将来自多样化教师网络的局部与全局语义知识迁移至单一学生网络？
• RQ3 具有频域通道注意力的双频域解码器，是否能减少特征冗余并提升分割精度，同时降低FLOPs与参数量？
• RQ4 知识蒸馏与交叉伪标签监督之间的平衡，如何影响在低标注数据设置下的模型性能与鲁棒性？

主要发现

• 在Pascal VOC 2012上，TriKD在10%标注数据下达到80.03 mIoU，较基线提升1.71%，表明在半监督设置下具有强大性能。
• 在Cityscapes上，TriKD在10%标注数据下达到75.98 mIoU，较基线提升1.52%，证实其在不同基准上的一致性增益。
• 与基线UPerNet相比，双频域解码器使模型参数减少53.7%，FLOPs降低82.5%，显著提升了推理效率。
• 消融实验表明，同时使用空间损失与注意力损失蒸馏可获得最佳性能，且两者的最优超参数均为0.5。
• 交叉伪标签监督损失在λ = 0.1时表现最佳，表明应适度强调弱监督以避免过拟合。
• 定性结果表明，TriKD在分割小尺寸与细粒度物体（如车辆轮子、路灯杆）方面优于基线模型，尤其在噪声或遮挡区域表现更优。