[论文解读] Unsupervised Domain Generalization by Learning a Bridge Across Domains

Sivan Harary, Eli Schwartz+12 more|arXiv (Cornell University)|Dec 4, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出通过可学习的跨域桥梁（BrAD）实现无监督域泛化（UDG），该方法引入一种辅助的边缘正则化视觉域，使自监督对比学习能够对齐不同、未标注的源域与目标域之间的特征。通过联合训练图像到BrAD的映射与对比表示模型，该方法在无需任何源域标签的情况下实现了最先进性能——在UDG任务中准确率最高提升14%，在FUDA任务中提升13.3%，并能泛化至未见域与新类别。

ABSTRACT

The ability to generalize learned representations across significantly different visual domains, such as between real photos, clipart, paintings, and sketches, is a fundamental capacity of the human visual system. In this paper, different from most cross-domain works that utilize some (or full) source domain supervision, we approach a relatively new and very practical Unsupervised Domain Generalization (UDG) setup of having no training supervision in neither source nor target domains. Our approach is based on self-supervised learning of a Bridge Across Domains (BrAD) - an auxiliary bridge domain accompanied by a set of semantics preserving visual (image-to-image) mappings to BrAD from each of the training domains. The BrAD and mappings to it are learned jointly (end-to-end) with a contrastive self-supervised representation model that semantically aligns each of the domains to its BrAD-projection, and hence implicitly drives all the domains (seen or unseen) to semantically align to each other. In this work, we show how using an edge-regularized BrAD our approach achieves significant gains across multiple benchmarks and a range of tasks, including UDG, Few-shot UDA, and unsupervised generalization across multi-domain datasets (including generalization to unseen domains and classes).

研究动机与目标

• 解决在真实场景中源域与目标域均无标注数据时的域泛化挑战。
• 在无需额外微调或监督的情况下，实现对未见域与新类别的泛化能力。
• 开发一种自监督框架，通过可学习的桥梁域隐式对齐多样化视觉域之间的表征。
• 在减少对预训练模型或领域特定监督依赖的同时，保持对域偏移的鲁棒性。

提出的方法

• 引入一种可学习的跨域桥梁（BrAD）作为辅助视觉域，专门设计为可通过图像到图像的转换从所有源域轻松映射。
• 采用边缘正则化的BrAD，其中桥梁域被学习以保留语义结构同时抑制噪声，使用基于HED的网络或可学习的边缘头。
• 联合训练对比自监督表示模型与针对BrAD的领域特定映射，以在域之间强制实现特征级别的语义对齐。
• 应用对比损失（L_contrast），将真实图像的特征与它们在BrAD中的投影对齐；并应用正则化损失（L_Ω），以鼓励不同域之间边缘图的一致性。
• 使用双分支编码器并共享主干网络权重，以确保域不变的表征，其中BrAD作为共享的语义锚点。
• 通过依赖共享且对齐的特征空间，实现无需BrAD映射的推理，从而支持对未见域与类别的零样本迁移。

实验结果

研究问题

• RQ1 自监督模型是否能在源域与目标域均无标注数据的情况下实现强大的域泛化？
• RQ2 可学习的、边缘正则化的桥梁域是否能有效对齐如真实图像、素描和绘画等多样化视觉域之间的表征？
• RQ3 所提出的BrAD框架是否能在无需微调的情况下泛化至未见域与新类别？
• RQ4 BrAD的选择（如Canny、HED、可学习的）对UDG与FUDA任务的性能有何影响？
• RQ5 该方法在缺乏预训练模型（如HED的BSDS500权重）时的鲁棒性如何？

主要发现

• 在DomainNet基准上，所提方法在无监督域泛化（UDG）任务中相比之前最先进方法实现了14%的准确率提升。
• 在FUDA基准上，该方法相比之前最先进方法性能提升13.3%，展现出强大的少样本泛化能力。
• 即使完全不使用BSDS500预训练，该方法性能仅变化±1.2%，证明了对预训练依赖的强鲁棒性。
• 可学习的BrAD在保留精细内部细节的同时有效抑制噪声，其性能优于Canny与HED边缘图，如定性对比所示。
• 该方法在无需额外微调的情况下，能有效泛化至未见域与新类别，已在多个多域基准上得到验证。
• 消融实验证实，BrAD学习、边缘正则化与对比对齐等所有组件均对性能提升有显著贡献。