[论文解读] Synthetic to Real Adaptation with Generative Correlation Alignment Networks

Xingchao Peng, Kate Saenko|arXiv (Cornell University)|Jan 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 43被引用 14

一句话总结

该论文提出深度生成相关对齐网络（DGCAN），通过将CAD合成数据中的物体形状与真实图像中的自然纹理相结合，生成逼真的训练图像。通过在深度特征空间中利用内容保持和基于CORAL的相关性对齐，DGCAN减少了域差距，使在生成数据上训练的分类器在Office数据集的Amazon域上达到49.91%的准确率，显著优于直接在合成数据上训练的结果。

ABSTRACT

Synthetic images rendered from 3D CAD models are useful for augmenting training data for object recognition algorithms. However, the generated images are non-photorealistic and do not match real image statistics. This leads to a large domain discrepancy, causing models trained on synthetic data to perform poorly on real domains. Recent work has shown the great potential of deep convolutional neural networks to generate realistic images, but has not utilized generative models to address synthetic-to-real domain adaptation. In this work, we propose a Deep Generative Correlation Alignment Network (DGCAN) to synthesize images using a novel domain adaption algorithm. DGCAN leverages a shape preserving loss and a low level statistic matching loss to minimize the domain discrepancy between synthetic and real images in deep feature space. Experimentally, we show training off-the-shelf classifiers on the newly generated data can significantly boost performance when testing on the real image domains (PASCAL VOC 2007 benchmark and Office dataset), improving upon several existing methods.

研究动机与目标

• 解决非真实感CAD合成图像与真实世界图像之间在深度学习中的巨大域差距问题。
• 通过生成更逼真的训练样本，提升在合成数据上训练的物体识别模型的泛化能力。
• 开发一种生成模型，在不依赖成对数据的情况下，保留物体形状的同时适应真实图像的统计特性。
• 证明通过生成特征对齐实现的合成到真实域自适应优于现有的无监督域自适应方法。

提出的方法

• DGCAN使用基于VGG-16的生成器，通过将CAD合成图像中的物体轮廓与真实背景图像的纹理相结合，生成图像。
• 在早期卷积层（如conv3_2）应用ℓ²特征损失，以保留内容，维持物体形状的保真度。
• 在多个早期卷积层（如conv1_1至conv5_1）应用CORAL损失，以对齐合成图像与真实图像特征之间的二阶统计量。
• 通过端到端训练，联合使用内容损失与域对齐损失，最小化深度特征空间中的域差异。
• 使用生成的图像训练现成的分类器，随后在真实图像测试集上评估其性能。
• 在PASCAL VOC 2007和Office数据集上评估该方法，并对损失层配置进行消融研究。

实验结果

研究问题

• RQ1 生成模型能否在深度特征空间中有效减少合成图像与真实图像之间的域差距？
• RQ2 将形状保持与相关性对齐相结合，是否能提升在真实世界基准上的泛化性能？
• RQ3 用于内容损失与CORAL损失的特征层选择，如何影响生成图像的质量与下游分类准确率？
• RQ4 DGCAN生成的数据能否优于直接在合成数据上训练的方法，以及现有无监督域自适应方法？

主要发现

• DGCAN生成的图像通过在深度特征空间中对齐合成图像与真实图像之间的二阶统计量，显著减少了域差异。
• 该方法在Office数据集的Amazon域上实现了49.91%的top-1准确率，远超直接在CAD合成数据上训练的44.69%准确率。
• DGCAN优于多种最先进的无监督域自适应方法，包括DAN，甚至超越了在Webcam域上训练的模型。
• 当与归纳适应方法（如DAN）结合使用时，DGCAN生成的数据在Amazon域上的性能进一步提升至51.93%。
• 定性结果表明，DGCAN成功将物体形状与自然纹理融合，减少了不自然的对比，提升了图像的真实感。
• 失败案例（如将台灯与玩具自行车误分类为自行车）表明，该方法在处理复杂或模糊场景时仍存在局限性。