[论文解读] Naive-Student: Leveraging Semi-Supervised Learning in Video Sequences for Urban Scene Segmentation

Liang-Chieh Chen, Raphael Gontijo Lopes+6 more|arXiv (Cornell University)|May 20, 2020

Video Surveillance and Tracking Methods参考文献 92被引用 12

一句话总结

该论文提出 Naive-Student，一种简单的迭代半监督学习方法，通过仅使用数据增强和模型蒸馏，从无标签的视频帧和额外图像中生成伪标签，从而提升城市场景分割性能。该方法在所有三个 Cityscapes 基准测试中均取得最先进结果：测试集上达到 67.8% PQ、42.6% AP 和 85.2% mIOU，且无需依赖专用的标签传播模块。

ABSTRACT

Supervised learning in large discriminative models is a mainstay for modern computer vision. Such an approach necessitates investing in large-scale human-annotated datasets for achieving state-of-the-art results. In turn, the efficacy of supervised learning may be limited by the size of the human annotated dataset. This limitation is particularly notable for image segmentation tasks, where the expense of human annotation is especially large, yet large amounts of unlabeled data may exist. In this work, we ask if we may leverage semi-supervised learning in unlabeled video sequences and extra images to improve the performance on urban scene segmentation, simultaneously tackling semantic, instance, and panoptic segmentation. The goal of this work is to avoid the construction of sophisticated, learned architectures specific to label propagation (e.g., patch matching and optical flow). Instead, we simply predict pseudo-labels for the unlabeled data and train subsequent models with both human-annotated and pseudo-labeled data. The procedure is iterated for several times. As a result, our Naive-Student model, trained with such simple yet effective iterative semi-supervised learning, attains state-of-the-art results at all three Cityscapes benchmarks, reaching the performance of 67.8% PQ, 42.6% AP, and 85.2% mIOU on the test set. We view this work as a notable step towards building a simple procedure to harness unlabeled video sequences and extra images to surpass state-of-the-art performance on core computer vision tasks.

研究动机与目标

• 通过利用 Cityscapes 视频序列中的少量人工标注帧，提升城市场景中语义分割、实例分割和全景分割的性能。
• 通过以简单且可扩展的方式利用半监督学习，减少对昂贵人工标注数据集的依赖。
• 仅通过伪标签和数据增强，避免使用复杂的标签传播架构（如光流或块匹配）。
• 在不进行特定任务架构修改的情况下，实现在 Cityscapes 基准上的最先进性能。
• 为在计算机视觉中利用大量无标签视频数据建立一个简单而有效的基线。

提出的方法

• 在 Cityscapes 视频序列中少量人工标注帧上迭代训练模型。
• 使用多尺度输入和左右翻转作为数据增强，为无标签视频帧生成伪标签。
• 在每次迭代中，通过知识蒸馏将教师模型的预测知识迁移至学生模型。
• 在后续训练周期中，将人工标注数据与伪标注数据结合，以提升泛化能力。
• 通过应用测试时增强（多尺度输入和翻转）以及在 Mapillary Vistas 上进行预训练，进一步提升性能。
• 采用改进的 Wide ResNet-41（WR-41）主干网络，结合丢弃路径（drop path）和多网格（multi-grid）设置，以提升效率和准确性。

实验结果

研究问题

• RQ1 在不使用专用标签传播模块的情况下，简单的迭代半监督学习流程是否能在城市场景分割中超越监督基线？
• RQ2 无标签视频帧和额外图像在语义分割、实例分割和全景分割任务中的性能提升程度如何？
• RQ3 仅通过数据增强进行伪标签生成，而不使用光流或块匹配，是否能获得具有竞争力的结果？
• RQ4 所提出方法是否能同时在所有三个 Cityscapes 基准上实现最先进性能？
• RQ5 主干网络架构和训练技术的选择如何影响模型的效率与准确性？

主要发现

• Naive-Student 在 Cityscapes 测试集上达到 67.8% PQ、42.6% AP 和 85.2% mIOU，创下所有三个基准的最先进性能。
• 与使用 X-71 主干的 Panoptic-DeepLab 相比，Naive-Student 在不增加额外数据的情况下，分别提升了 1.4% PQ、1.9% AP 和 2.1% mIOU。
• 在 Mapillary Vistas 上进行预训练后，Naive-Student 性能进一步提升，在测试集上达到 66.5% PQ、40.6% AP 和 84.5% mIOU。
• 与 WR-38 相比，WR-41 主干网络减少了参数量和 FLOPs，推理速度更快（V100 上为 396.5 ms vs. 437.9 ms）。
• 测试时增强（多尺度输入和翻转）使验证集上的 mIOU 从 80.7% 提升至 83.8%。
• 丢弃路径和多网格设置在所有主干网络变体中均一致地提升了性能。