[论文解读] On Evolving Attention Towards Domain Adaptation

Kekai Sheng, Ke Li+6 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 5

一句话总结

本文提出 EvoADA，一种神经架构搜索框架，可自动演化最优注意力模块配置（类型与位置），用于无监督域自适应（UDA），全程无需人工干预。通过在注意力机制上设计专用搜索空间，并采用基于目标域伪标签判别能力的 UDA 导向评估策略，EvoADA 在多个基准上持续提升当前最优 UDA 方法的性能，实现更高准确率且参数开销极低。

ABSTRACT

Towards better unsupervised domain adaptation (UDA). Recently, researchers propose various domain-conditioned attention modules and make promising progresses. However, considering that the configuration of attention, i.e., the type and the position of attention module, affects the performance significantly, it is more generalized to optimize the attention configuration automatically to be specialized for arbitrary UDA scenario. For the first time, this paper proposes EvoADA: a novel framework to evolve the attention configuration for a given UDA task without human intervention. In particular, we propose a novel search space containing diverse attention configurations. Then, to evaluate the attention configurations and make search procedure UDA-oriented (transferability + discrimination), we apply a simple and effective evaluation strategy: 1) training the network weights on two domains with off-the-shelf domain adaptation methods; 2) evolving the attention configurations under the guide of the discriminative ability on the target domain. Experiments on various kinds of cross-domain benchmarks, i.e., Office-31, Office-Home, CUB-Paintings, and Duke-Market-1510, reveal that the proposed EvoADA consistently boosts multiple state-of-the-art domain adaptation approaches, and the optimal attention configurations help them achieve better performance.

研究动机与目标

• 为解决无监督域自适应（UDA）中手工设计的注意力模块配置次优的问题，此类配置可能在多样化 UDA 场景下限制性能表现。
• 开发一种通用的、自动化的搜索方法，以寻找最优的注意力配置（包括类型与空间位置），并专门针对 UDA 任务进行优化。
• 通过设计可迁移且在大域偏移下仍具鲁棒性的搜索空间与评估策略，克服现有 NAS 方法在 UDA 中的局限性。
• 验证所提方法能否在多样化跨域基准上提升多种当前最优 UDA 方法的性能。

提出的方法

• 提出一种新颖的搜索空间，包含多种注意力模块类型（如空间注意力、通道注意力、自注意力）及其在主干网络（如 ResNet）中的位置，专为 UDA 任务设计。
• 引入一种面向 UDA 的评估策略：首先使用标准 UDA 方法在源域和目标域上联合训练网络权重，随后基于目标域中的伪标签判别能力来评估注意力配置的性能。
• 采用基于进化算法的 NAS 方法，通过所提出的评估指标迭代演化并选择高性能注意力配置。
• 利用自训练伪标签机制，估算每种配置在未标注目标域上的判别能力，作为最终 UDA 准确率的代理指标。
• 通过平衡可迁移性与判别能力来优化搜索过程，确保配置在域偏移下具有良好泛化性。
• 将该框架应用于多种主干网络（如 ResNet-50）和基准数据集，包括 Office-31、Office-Home、CUB-Paintings 和 Duke-Market-1510。

实验结果

研究问题

• RQ1 是否能够通过自动化神经架构搜索框架，在无需人工干预的情况下有效发现适用于无监督域自适应的最优注意力模块配置？
• RQ2 与随机或传统 NAS 方法相比，面向 UDA 的专用搜索空间与评估策略在性能提升方面有何优势？
• RQ3 基于目标域伪标签的评估策略与实际 UDA 准确率的相关性有多高？
• RQ4 在主干网络中，哪些层最适合作为注意力模块的放置位置？

主要发现

• EvoADA 在四个基准上持续提升多种当前最优 UDA 方法的性能，包括在 Office-Home 上实现相对于 CDAN 的 3.4% 提升（66.4% → 69.8%），以及相对于 SHOT 的 2.0% 提升（71.9% → 73.9%）。
• 基于目标域伪标签的评估策略与实际目标域准确率表现出强等级相关性（在 Office-31 上 Spearman ρ = 0.68），优于源域准确率的相关性（ρ = 0.40）。
• 最优注意力配置多出现在 ResNet-50 的第 3 层和第 4 层，表明这些层在域自适应中最具优势。
• 该方法仅带来适度的参数量与 FLOPs 增加，展现出良好的效率与实用性。
• 实验表明，EvoADA 对训练准确率阈值（t_acc）、种群规模（T）和目标域评估步数（T_d）的超参数变化具有鲁棒性。
• 可视化结果表明，经过精心选择的注意力配置能增强特征判别能力并减轻域偏移，尤其在细粒度与跨域设置下效果显著。