[论文解读] Training Constrained Deconvolutional Networks for Road Scene Semantic Segmentation

Germán Ros, Simon Stent+2 more|arXiv (Cornell University)|Apr 6, 2016

Advanced Neural Network Applications被引用 24

一句话总结

本文提出了一种知识蒸馏方法，用于训练内存高效的反卷积神经网络（T-Net），以实现道路场景语义分割。该方法基于一个大规模、多领域数据集（MDRS3）和一个高容量、无约束的源网络（S-Net）进行训练。尽管T-Net所用内存不足最先进的全连接网络（FCN）的1%，其准确率仍高于端到端训练方法，并通过从S-Net进行迁移学习，达到或超越了FCN的性能。

ABSTRACT

In this work we investigate the problem of road scene semantic segmentation using Deconvolutional Networks (DNs). Several constraints limit the practical performance of DNs in this context: firstly, the paucity of existing pixel-wise labelled training data, and secondly, the memory constraints of embedded hardware, which rule out the practical use of state-of-the-art DN architectures such as fully convolutional networks (FCN). To address the first constraint, we introduce a Multi-Domain Road Scene Semantic Segmentation (MDRS3) dataset, aggregating data from six existing densely and sparsely labelled datasets for training our models, and two existing, separate datasets for testing their generalisation performance. We show that, while MDRS3 offers a greater volume and variety of data, end-to-end training of a memory efficient DN does not yield satisfactory performance. We propose a new training strategy to overcome this, based on (i) the creation of a best-possible source network (S-Net) from the aggregated data, ignoring time and memory constraints; and (ii) the transfer of knowledge from S-Net to the memory-efficient target network (T-Net). We evaluate different techniques for S-Net creation and T-Net transferral, and demonstrate that training a constrained deconvolutional network in this manner can unlock better performance than existing training approaches. Specifically, we show that a target network can be trained to achieve improved accuracy versus an FCN despite using less than 1\% of the memory. We believe that our approach can be useful beyond automotive scenarios where labelled data is similarly scarce or fragmented and where practical constraints exist on the desired model size. We make available our network models and aggregated multi-domain dataset for reproducibility.

研究动机与目标

• 解决在嵌入式车载系统中训练高精度、内存受限的反卷积神经网络（DNs）用于道路场景语义分割的挑战。
• 通过构建统一的多领域训练数据集（MDRS3），克服现有像素级标注数据集稀缺及领域特异性偏差的问题。
• 通过从高容量、无约束的源网络（S-Net）中蒸馏知识，提升小型高效网络的泛化能力和性能。
• 评估并比较不同知识迁移技术在将S-Net的语义分割知识迁移到内存受限的目标网络（T-Net）中的效果。
• 证明在内存受限条件下，T-Net的性能可超越标准FCN模型，同时内存使用不足FCN的1%。

提出的方法

• 通过整合六个现有、多样化且稀疏/密集标注的数据集，构建多领域道路场景语义分割数据集（MDRS3）用于训练。
• 在完整MDRS3数据集上训练一个高容量、无约束的源网络（S-Net），参数量达26900万，通过在不同数据领域间集成以最大化性能。
• 应用知识蒸馏技术——具体包括软标签蒸馏、特征图匹配（SMP）和类别感知加权交叉熵（WCE）——将S-Net的知识迁移到更小、内存受限的T-Net中。
• 通过以S-Net作为教师网络进行迁移学习，优化T-Net，采用如TK-SMP-WCE等技术提升特征对齐与类别特定监督。
• 在未用于训练的原始数据集的两个独立测试集上评估T-Net，以确保对领域偏移的鲁棒性及泛化性能。
• 结合软标签、中间特征图和类别加权损失，提升T-Net从S-Net学习复杂语义模式的能力。

实验结果

研究问题

• RQ1 当通过从大规模、无约束源网络蒸馏知识进行训练时，内存受限的反卷积神经网络是否能实现比标准FCN更高的语义分割准确率？
• RQ2 与在相同数据上进行端到端训练相比，从多领域、高容量S-Net中蒸馏知识如何提升小型高效T-Net的性能？
• RQ3 在资源受限环境下，哪种知识蒸馏技术——软标签、特征图匹配或类别感知加权交叉熵——能为T-Net带来最佳性能？
• RQ4 在多样化、多领域数据集（MDRS3）上进行训练，在多大程度上能提升语义分割模型的泛化能力并减少领域偏差？
• RQ5 T-Net的内存使用不足标准FCN的1%，是否能在真实世界测试数据上实现与FCN相当或更高的准确率？

主要发现

• 通过知识蒸馏（TK-SMP-WCE）训练的T-Net实现了71.8%的全局平均IoU，优于标准FCN（71.6%）和端到端训练的T-Net（66.6%）。
• T-Net在TK-SMP-WCE方法下实现了59.3%的类别平均IoU，显著优于基线FCN（50.6%）和端到端T-Net（39.4%）。
• 尽管其参数量仅为S-Net集成（26900万参数）的0.5%，T-Net在“车辆”类别上实现了93.4%的IoU，超过FCN的86.2%。
• 采用TK-SMP-WCE方法训练的T-Net在“行人”类别上实现了78.6%的IoU，优于FCN的17.6%和端到端T-Net的7.6%，表明其对罕见类别学习能力显著提升。
• 所提出的知识蒸馏方法（TK-SMP-WCE）将S-Net（73.4% IoU）与T-Net（71.8% IoU）之间的全局IoU差距缩小至仅1.6个百分点，表明知识迁移效率极高。
• 定性结果表明，T-Net的分割结果在视觉上优于FCN，甚至在某些情况下匹配或超过存在噪声的真实标注，尤其是在行人和自行车等复杂或罕见物体上。