[论文解读] Zero-Shot Deep Domain Adaptation

Kuan–Chuan Peng, Ziyan Wu+1 more|arXiv (Cornell University)|Jul 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 36被引用 4

一句话总结

本文提出零样本深度域自适应（ZDDA），一种新颖方法，可在无需任务相关目标域训练数据的情况下实现域自适应与传感器融合。通过利用任务无关的双域样本对（如Fashion-MNIST中的灰度图与RGB图像对），ZDDA训练联合网络，将源域表征对齐至目标域语义，即使在训练阶段未使用目标域数据，也能在MNIST→MNIST-M和SUN RGB-D场景分类任务中取得优异性能。

ABSTRACT

Domain adaptation is an important tool to transfer knowledge about a task (e.g. classification) learned in a source domain to a second, or target domain. Current approaches assume that task-relevant target-domain data is available during training. We demonstrate how to perform domain adaptation when no such task-relevant target-domain data is available. To tackle this issue, we propose zero-shot deep domain adaptation (ZDDA), which uses privileged information from task-irrelevant dual-domain pairs. ZDDA learns a source-domain representation which is not only tailored for the task of interest but also close to the target-domain representation. Therefore, the source-domain task of interest solution (e.g. a classifier for classification tasks) which is jointly trained with the source-domain representation can be applicable to both the source and target representations. Using the MNIST, Fashion-MNIST, NIST, EMNIST, and SUN RGB-D datasets, we show that ZDDA can perform domain adaptation in classification tasks without access to task-relevant target-domain training data. We also extend ZDDA to perform sensor fusion in the SUN RGB-D scene classification task by simulating task-relevant target-domain representations with task-relevant source-domain data. To the best of our knowledge, ZDDA is the first domain adaptation and sensor fusion method which requires no task-relevant target-domain data. The underlying principle is not particular to computer vision data, but should be extensible to other domains.

研究动机与目标

• 为解决因技术、预算或监管限制而导致任务相关目标域训练数据常不可用的实际局限性。
• 开发一种深度学习方法，实现无需依赖有标签或无标签目标域数据的域自适应。
• 将该方法扩展至传感器融合，实现在两种模态均无需成对训练数据的情况下，实现RGB与深度数据的鲁棒融合。
• 证明即使在现有方法拥有目标域数据的情况下，ZDDA仍能超越它们。
• 在MNIST、Fashion-MNIST、NIST、EMNIST和SUN RGB-D等多样化数据集上验证该方法。

提出的方法

• ZDDA利用任务无关的双域样本对（如Fashion-MNIST中的灰度图与RGB图像）在训练期间模拟目标域表征。
• 使用来自任务相关源域的监督信号，以及源域与模拟目标域表征之间的对齐损失，联合训练深度神经网络。
• 该方法采用共享编码器从源域数据中提取特征，并为感兴趣的任务（如分类）使用特定于域的分类头。
• 通过对比损失或对抗损失学习域不变表征，以促进源域与模拟目标域之间特征的对齐。
• 在传感器融合中，ZDDA在源域数据（如深度图）和模拟目标域数据（如RGB图）上联合训练分类器，实现在无需成对目标域训练数据情况下的融合。
• 通过在第3步中使用噪声数据进行训练，将框架扩展以处理噪声测试数据，从而提升对真实世界传感器退化的鲁棒性。

实验结果

研究问题

• RQ1 是否可在完全不访问任务相关目标域训练数据的情况下实现域自适应？
• RQ2 任务无关的双域样本对能否有效模拟用于域自适应的目标域表征？
• RQ3 ZDDA是否优于需要目标域数据的现有域自适应方法？
• RQ4 ZDDA能否在无需两种模态均具备成对训练数据的情况下应用于传感器融合任务？
• RQ5 ZDDA在推理阶段面对源域或目标域中的噪声输入时，其鲁棒性如何？

主要发现

• 在未使用任何MNIST-M训练数据的情况下，ZDDA在MNIST-M分类任务上达到59.74%的准确率，优于多个使用此类数据的最先进域自适应方法。
• 在SUN RGB-D数据集上，ZDDA 3在仅使用深度数据和模拟RGB数据的情况下，10类场景分类准确率达到63.16%，优于在噪声条件下采用朴素融合方法的性能。
• ZDDA在5折和10折交叉验证中均表现出一致性能，不同数据划分和类别选择下结果稳定。
• ZDDA 3在噪声测试数据下表现出优越的鲁棒性：在RGB与深度模态均存在高噪声水平时，其准确率相比朴素融合方法最高提升15%。
• 该方法在使用噪声数据（如黑色矩形）进行训练后仍保持强性能，并能泛化至其他噪声模型，表明其具备强大鲁棒性。
• ZDDA在零样本域自适应与传感器融合任务中达到最先进性能，为数据稀缺场景设立了新基准。