[论文解读] Stable Adversarial Learning under Distributional Shifts

Jiashuo Liu, Zheyan Shen+5 more|arXiv (Cornell University)|Jun 8, 2020

Machine Learning and Algorithms被引用 4

一句话总结

本文提出稳定对抗学习（SAL），一种分布鲁棒学习方法，通过基于协变量在不同环境中的相关性稳定性来构建各向异性的不确定性集。通过将对抗扰动集中于不稳定的协变量，并联合优化表示学习与鲁棒性，SAL 在分布偏移下实现了显著提升的鲁棒性，同时保持高置信度，在合成数据与真实世界基准上均优于 ERM、IRM 和 WDRL 等基线方法。

ABSTRACT

Machine learning algorithms with empirical risk minimization are vulnerable under distributional shifts due to the greedy adoption of all the correlations found in training data. Recently, there are robust learning methods aiming at this problem by minimizing the worst-case risk over an uncertainty set. However, they equally treat all covariates to form the decision sets regardless of the stability of their correlations with the target, resulting in the overwhelmingly large set and low confidence of the learner.In this paper, we propose Stable Adversarial Learning (SAL) algorithm that leverages heterogeneous data sources to construct a more practical uncertainty set and conduct differentiated robustness optimization, where covariates are differentiated according to the stability of their correlations with the target. We theoretically show that our method is tractable for stochastic gradient-based optimization and provide the performance guarantees for our method. Empirical studies on both simulation and real datasets validate the effectiveness of our method in terms of uniformly good performance across unknown distributional shifts.

研究动机与目标

• 解决分布鲁棒学习中因不确定性集过大而导致的过度悲观问题。
• 通过建模协变量在不同环境中的异质稳定性，提升在未知分布偏移下的鲁棒性。
• 构建一个基于协变量稳定性差异的鲁棒性优化的系统性统一框架。
• 在保持高模型置信度的同时，确保优化的可处理性与理论保证。
• 在合成与真实世界设置下，于多种分布偏移中展示优越性能。

提出的方法

• 以 Wasserstein 分布鲁棒学习（WDRL）为核心框架，通过 Wasserstein 距离定义不确定性集。
• 构建各向异性的不确定性集，对不稳定协变量（如背景）施加更强扰动，对稳定协变量（如物体身份）施加更弱扰动。
• 引入协同优化过程，利用随机梯度方法联合学习协变量稳定性与模型参数。
• 利用多个环境中的异质数据源，估计每个协变量与目标变量相关性的稳定性。
• 采用两阶段训练流程：首先通过三层卷积神经网络提取 128 维表示；其次在学习到的特征上进行对抗训练。
• 理论分析证明了所得不确定性集的紧凑性，这是 WDRL 文献中的新贡献。

实验结果

研究问题

• RQ1 我们能否通过考虑协变量在不同环境中的稳定性，在分布鲁棒学习中构建更实用的不确定性集？
• RQ2 基于相关性稳定性的对抗扰动差异化处理，如何影响模型在分布偏移下的鲁棒性与置信度？
• RQ3 SAL 是否能在保持高性能的同时，避免过度悲观，适用于多样化且未知的分布偏移？
• RQ4 在存在虚假相关性与数据偏移的场景下，该方法是否优于 ERM、IRM 和 WDRL 实现更好的泛化性能？
• RQ5 与标准 WDRL 相比，SAL 所构建不确定性集的紧凑性在理论上具有何种依据？

主要发现

• 在彩色 MNIST 基准上，SAL 的测试准确率达到 0.57，显著优于 ERM 的 0.085 与 WDRL 的 0.48。
• 在成人收入预测任务中，SAL 在 10 个环境中均表现更优，仅在第一个环境中出现轻微下降，其余八个在未知偏移下均有显著提升。
• 通过避免标准 WDRL 常见的均匀类别预测，该方法有效维持了高模型置信度。
• 实证结果证实，SAL 在强分布偏移下泛化能力出色，尤其在测试数据中虚假相关性（如颜色）被反转时表现更优。
• 理论分析表明，SAL 构建的不确定性集比标准 WDRL 更为紧凑，为鲁棒性提升提供了新颖的理论依据。
• 两阶段训练（特征提取与对抗优化）使复杂数据（如图像）上的深度神经网络也能实现有效的鲁棒学习。