[论文解读] SPLAT: Semantic Pixel-Level Adaptation Transforms for Detection

Eric Tzeng, Kaylee Burns+2 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用 13

一句话总结

SPLAT 提出了一种新颖的像素级域自适应方法，用于目标检测，该方法利用源域中的语义分割标签训练无循环的转换网络，在先前方法的基础上将检测 mAP 提升了 12.5 个百分点。与 CyCADA 等基于循环的方法相比，其训练速度提高了 3.8 倍，同时在 Sim10K 到 Cityscapes 的基准测试中表现更优。

ABSTRACT

Domain adaptation of visual detectors is a critical challenge, yet existing methods have overlooked pixel appearance transformations, focusing instead on bootstrapping and/or domain confusion losses. We propose a Semantic Pixel-Level Adaptation Transform (SPLAT) approach to detector adaptation that efficiently generates cross-domain image pairs. Our model uses aligned-pair and/or pseudo-label losses to adapt an object detector to the target domain, and can learn transformations with or without densely labeled data in the source (e.g. semantic segmentation annotations). Without dense labels, as is the case when only detection labels are available in the source, transformations are learned using CycleGAN alignment. Otherwise, when dense labels are available we introduce a more efficient cycle-free method, which exploits pixel-level semantic labels to condition the training of the transformation network. The end task is then trained using detection box labels from the source, potentially including labels inferred on unlabeled source data. We show both that pixel-level transforms outperform prior approaches to detector domain adaptation, and that our cycle-free method outperforms prior models for unconstrained cycle-based learning of generic transformations while running 3.8 times faster. Our combined model improves on prior detection baselines by 12.5 mAP adapting from Sim 10K to Cityscapes, recovering over 50% of the missing performance between the unadapted baseline and the labeled-target upper bound.

研究动机与目标

• 解决从合成到真实世界驾驶场景迁移时目标检测中的域偏移问题。
• 克服先前域自适应方法依赖特征级域混淆或缺乏有效像素级图像转换的局限性。
• 开发一种快速、无循环的方法，利用语义分割标签作为监督信号，学习像素级图像到图像的转换。
• 通过利用带标签的源数据和伪标签化的无标签源数据，提升在 Sim10K 到 Cityscapes 基准上的检测性能。
• 在显著减少训练时间的同时，实现最先进的检测 mAP 表现，相较于基于循环一致 GAN 的方法。

提出的方法

• 利用对齐对损失和伪标签损失，在经过目标域风格转换的源图像上训练检测器。
• 使用基于源域语义分割标签的无循环转换网络，生成具有目标域风格的真实感图像。
• 通过一种新颖的语义像素预测损失训练像素转换网络，以约束生成器保持语义一致性。
• 将转换后的源图像与原始源检测标签（包括对无标签数据推断出的标签）结合，用于训练最终检测器。
• 用语义标签监督替代循环一致性约束，实现无需目标到源域翻译的更快、更稳定的训练。
• 使用谱归一化和其他 GAN 稳定技术，确保在缺乏循环约束的情况下训练的稳定性。

实验结果

研究问题

• RQ1 与特征级域混淆相比，像素级图像到图像的转换是否能提升目标检测的域自适应性能？
• RQ2 使用语义分割监督训练的无循环转换网络是否在检测自适应中优于循环一致 GAN？
• RQ3 在源域中引入语义分割标签如何影响学习到的像素转换的质量和效率？
• RQ4 所提出的方法是否能在保持或提升检测性能的同时，实现比基于循环的方法更快的训练速度？
• RQ5 在无标签源数据上使用伪标签在多大程度上能增强域自适应中的检测性能？

主要发现

• SPLAT 在 Sim10K 到 Cityscapes 基准测试中，相较于先前方法将检测 mAP 提升了 12.5 个百分点，创下新的 SOTA 记录。
• 提出的无循环方法 SPLAT-lite 在 Cityscapes 上达到 51.5 mAP，优于基于循环的 SPLAT-cycle（48.1 mAP）。
• SPLAT-lite 的训练速度比 SPLAT-cycle 快 3.84 倍，单张图像的训练迭代时间在 Tesla P100 上为 0.098 秒。
• 无循环方法避免了循环一致模型（如 CyCADA）常见的伪影问题（例如在不合理的上下文中生成引擎盖装饰物）。
• 尽管参数更少，SPLAT-lite 生成的图像比参数量更大的 SPLAT-big 更清晰、内容保留更佳。
• 利用语义分割标签可在无需循环约束的情况下实现可靠的像素级转换，从而在提升速度的同时也提高了准确率。