[论文解读] Selective Transfer with Reinforced Transfer Network for Partial Domain Adaptation

Zhihong Chen, Chao Chen+4 more|arXiv (Cornell University)|May 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用 5

一句话总结

该论文提出了一种用于部分域自适应（PDA）的强化迁移网络（RTNet），通过强化学习方法，结合高层特征与像素级重建误差，选择性地过滤来自源域的异常样本。通过整合一个利用目标生成器重建误差作为奖励信号的强化数据选择器（RDS），RTNet在最小化负迁移的同时提升了共享标签空间中的对齐效果，实现了当前最优性能。

ABSTRACT

One crucial aspect of partial domain adaptation (PDA) is how to select the relevant source samples in the shared classes for knowledge transfer. Previous PDA methods tackle this problem by re-weighting the source samples based on their high-level information (deep features). However, since the domain shift between source and target domains, only using the deep features for sample selection is defective. We argue that it is more reasonable to additionally exploit the pixel-level information for PDA problem, as the appearance difference between outlier source classes and target classes is significantly large. In this paper, we propose a reinforced transfer network (RTNet), which utilizes both high-level and pixel-level information for PDA problem. Our RTNet is composed of a reinforced data selector (RDS) based on reinforcement learning (RL), which filters out the outlier source samples, and a domain adaptation model which minimizes the domain discrepancy in the shared label space. Specifically, in the RDS, we design a novel reward based on the reconstruct errors of selected source samples on the target generator, which introduces the pixel-level information to guide the learning of RDS. Besides, we develope a state containing high-level information, which used by the RDS for sample selection. The proposed RDS is a general module, which can be easily integrated into existing DA models to make them fit the PDA situation. Extensive experiments indicate that RTNet can achieve state-of-the-art performance for PDA tasks on several benchmark datasets.

研究动机与目标

• 为解决由源域中异常类别样本不匹配导致的部分域自适应（PDA）中的负迁移问题。
• 通过结合高层深度特征与像素级外观信息，提升PDA中的样本选择性能。
• 开发一种可泛化的端到端框架，可集成至多种域自适应模型中。
• 在不依赖对抗判别器的前提下缓解负迁移，从而与非对抗性DA方法保持兼容。

提出的方法

• 通过演员-评论家强化学习训练一个强化数据选择器（RDS），以决定是否保留或丢弃每个源样本。
• RDS使用包含深度特征的状态向量进行决策，并基于所选样本在目标生成器上的重建误差作为奖励信号。
• 通过重建误差注入像素级信息，由于异常样本与目标域数据的差异性，其重建误差更高。
• RDS被设计为即插即用模块，可集成至如CORAL和对抗性DA等现有域自适应模型中。
• 奖励函数鼓励选择在视觉上与目标域相似的源样本，从而减少共享类别中的域差异。
• 该方法联合优化样本选择与共享标签空间中的域对齐，最小化负迁移。

实验结果

研究问题

• RQ1 能否有效利用强化学习，结合高层特征与像素级信息，在部分域自适应中选择相关源样本？
• RQ2 与仅依赖深度特征相比，通过目标生成器引入重建误差如何提升样本选择性能？
• RQ3 所提出的RDS模块是否可泛化至不同域自适应模型，包括非对抗性模型？
• RQ4 当存在异常类别时，该方法在PDA中在多大程度上减少了负迁移？
• RQ5 当源域与目标域标签空间完全对齐时，该方法是否仍能保持性能，表明其对噪声的鲁棒性？

主要发现

• RTNet在多个基准数据集上实现了SOTA性能，包括SVHN→MNIST和Office-31。
• 在SVHN→MNIST5任务中，RTNet将目标域与所选源样本之间的Wasserstein距离从0.2574（全部源样本）降低至0.1645，表明域对齐效果更优。
• 对于外观差异较大的类别（如5、6、8），RDS过滤掉了92%的源样本；对于视觉上相似的异常样本（如7、9），也过滤了72%。
• 对于共享类别，平均仅有8.2%的样本被错误过滤，表明在保留相关样本方面具有高精度。
• 在A31→W31任务中，即使不存在异常类别，RTNet仍优于CORAL，表明其能有效过滤噪声样本（如误标图像）。
• 案例研究证实，RDS能成功识别并移除标签与图像不匹配的噪声样本，例如将鼠标标记为键盘的样本。