[论文解读] Optimal Representations for Covariate Shift

Yangjun Ruan, Yann Dubois+1 more|arXiv (Cornell University)|Dec 31, 2021

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出了一种变分目标，用于在协变量偏移下识别领域泛化所需的最优表示，通过保持判别能力和跨领域的边缘支持来确保鲁棒性。通过利用未配对的无标签数据和领域无关的增强方法（如文本描述）进行自监督学习，该方法在DomainBed上实现了最先进性能，优于CLIP和以往的最先进方法。

ABSTRACT

Machine learning systems often experience a distribution shift between training and testing. In this paper, we introduce a simple variational objective whose optima are exactly the set of all representations on which risk minimizers are guaranteed to be robust to any distribution shift that preserves the Bayes predictor, e.g., covariate shifts. Our objective has two components. First, a representation must remain discriminative for the task, i.e., some predictor must be able to simultaneously minimize the source and target risk. Second, the representation's marginal support needs to be the same across source and target. We make this practical by designing self-supervised objectives that only use unlabelled data and augmentations to train robust representations. Our objectives give insights into the robustness of CLIP, and further improve CLIP's representations to achieve SOTA results on DomainBed.

研究动机与目标

• 识别确保在领域泛化中对协变量偏移具有鲁棒性的表示的最小充分条件。
• 形式化一个理想化的领域泛化（IDG）设置，其中源分布风险可访问，从而实现对最优表示的理论表征。
• 证明在无法获取目标领域信息的情况下，任何表示学习方法都无法统一优于常数表示。
• 设计仅使用无标签数据和特定增强方法（如文本描述）的实用自监督目标，以强制满足鲁棒性的理论条件。
• 通过整合所提出的目标准确提升基于CLIP的模型，在DomainBed基准上实现最先进性能。

提出的方法

• 提出一种变分目标，其最优解恰好是使源风险最小化器对任何保持贝叶斯预测器的协变量偏移均保持鲁棒的表示集合。
• 通过两个组成部分定义最优性：(a) 表示必须保持任务的判别性，使得单一预测器能够同时最小化源和目标风险；(b) 表示的边缘支持必须在源和目标领域间保持不变。
• 引入一种基于数据增强的自监督学习目标，保留判别性信息但去除领域特异性特征，例如图像的文本描述。
• 采用熵瓶颈或类似机制以强制实现边缘支持不变性，从而有效学习满足理论条件的表示。
• 通过使用仅无标签数据和基于文本的增强方法，对CLIP应用该方法，通过微调引入所提出的CAD（一致增强解耦）目标。
• 在评估中使用“预言”模型选择策略以验证理论主张，并与“源域验证”策略对比以分析实际限制。

实验结果

研究问题

• RQ1 表示的最小充分条件是什么，才能确保在协变量偏移下，源风险最小化器可泛化到任意目标领域？
• RQ2 能否仅使用无标签数据和领域无关的增强方法设计出自监督学习目标，以在协变量偏移下实现最优鲁棒性？
• RQ3 为何现有领域泛化方法在实践中无法超越经验风险最小化，其背后的理论限制是什么？
• RQ4 CLIP模型如何实现鲁棒性，能否通过显式强制满足最优表示的理论条件进一步提升其性能？
• RQ5 访问目标领域信息在多大程度上影响了在领域泛化中学习有用表示的能力？

主要发现

• 所提出的CAD目标与CLIP结合后，在DomainBed上实现了最先进性能，其中CLIP L + CAD在VLCS上达到80.8%准确率，PACS上达到93.5%，OfficeHome上达到79.7%，TerraIncognita上达到37.4%，DomainNet上达到51.7%。
• CLIP S + CAD在所有DomainBed数据集上均优于原始CLIP S和CLIP S（零样本）版本，证明了该方法在预训练之外的有效性。
• 在LAION上微调CLIP L并使用熵瓶颈（以强制支持不变性）相比未使用该机制的训练，提升了在DomainBed上的性能，表明该方法可推广至CLIP之外。
• 源域验证选择策略导致模型在源域上过拟合，削弱了瓶颈机制带来的性能增益，而预言选择策略更能反映理论保证。
• 在无法获取任何目标信息的情况下，任何表示学习方法都无法统一优于常数表示，这解释了领域泛化困难的原因。
• 理论分析表明，支持不变性和判别能力在协变量偏移下的最优领域泛化中均为必要且充分条件。