[论文解读] Syn2Real: A New Benchmark forSynthetic-to-Real Visual Domain Adaptation

Xingchao Peng, Ben Usman+4 more|arXiv (Cornell University)|Jun 26, 2018

Domain Adaptation and Few-Shot Learning参考文献 44被引用 49

一句话总结

本文提出 Syn2Real 基准，用于无监督的合成-to-真实域自适应，覆盖闭集分类、开集分类和目标检测，显示性能存在较大差距并提出一个具有挑战性的多任务评估设置。

ABSTRACT

Unsupervised transfer of object recognition models from synthetic to real data is an important problem with many potential applications. The challenge is how to "adapt" a model trained on simulated images so that it performs well on real-world data without any additional supervision. Unfortunately, current benchmarks for this problem are limited in size and task diversity. In this paper, we present a new large-scale benchmark called Syn2Real, which consists of a synthetic domain rendered from 3D object models and two real-image domains containing the same object categories. We define three related tasks on this benchmark: closed-set object classification, open-set object classification, and object detection. Our evaluation of multiple state-of-the-art methods reveals a large gap in adaptation performance between the easier closed-set classification task and the more difficult open-set and detection tasks. We conclude that developing adaptation methods that work well across all three tasks presents a significant future challenge for syn2real domain transfer.

研究动机与目标

• 推动从合成图像到真实图像的无监督迁移，以实现鲁棒的目标识别。
• 提供一个大规模、多任务的基准（分类和检测），固定的合成源域和两个真实目标域。
• 在各任务上比较最先进的 UDA 方法，并分析在不同设置下为何自适应成功或失败。
• 提供开源数据、代码和 3D 模型，以促进合成到真实域迁移的进展。

提出的方法

• 基于 3D CAD 模型为 12 个物体类别创建一个合成源域。
• 构建两个真实目标域：用于验证的 MS COCO 裁剪图像和用于测试的 YouTube Bounding Boxes。
• 在无监督域自适应框架下定义三项任务（Syn2Real-C 闭集分类、Syn2Real-O 开集分类、Syn2Real-D 检测）。
• 评估基线方法（DAN、Deep CORAL）以及领先的挑战性解决方案（Self-Ensembling SE）。
• 分析影响自适应的因素（合成数据量、目标图像大小、合成背景、预训练）。
• 提供公开数据集、基准、以及开源渲染流水线和 3D 模型。

实验结果

研究问题

• RQ1 现有的无监督域自适应方法在跨分类和检测任务的合成到真实目标迁移中有多大程度的迁移能力？
• RQ2 在合成到真实的迁移中，闭集、开集和检测之间的相对难度和差距是什么？
• RQ3 数据量、图像分辨率和背景真实感等因素如何影响自适应性能？

主要发现

• UDA 方法相较于仅源训练的性能有所提升，例如 Deep CORAL 和 DAN 将 Syn2Real-C 的验证准确率分别从 28.1% 提升到 45.5% 和 51.6% 。
• 开集和检测任务依然显著比闭集分类更具挑战，与同域或 Oracle 性能之间存在更大差距。
• SE（Self-Ensembling）方法获得了挑战赛的最佳结果，显著提升性能（例如在 Syn2Real-C 的源模型上从 45.3% 提升到 91.8%）。
• 在 ImageNet 上进行预训练能显著提升自适应效果，而在没有足够合成数据的情况下从零开始训练（SE*）表现较差。
• 检测任务表明用于分类的自适应方法无法直接转移到端到端检测器，表明需要新的思路。