[论文解读] Uncertainty Modeling for Out-of-Distribution Generalization

Xiaotong Li, Yongxing Dai+4 more|arXiv (Cornell University)|Feb 8, 2022

Domain Adaptation and Few-Shot Learning被引用 71

一句话总结

引入 DSU，一种通过将特征统计视为不确定分布来建模领域转移的概率方法，在不增加额外参数的情况下提升视觉任务的泛化能力。

ABSTRACT

Though remarkable progress has been achieved in various vision tasks, deep neural networks still suffer obvious performance degradation when tested in out-of-distribution scenarios. We argue that the feature statistics (mean and standard deviation), which carry the domain characteristics of the training data, can be properly manipulated to improve the generalization ability of deep learning models. Common methods often consider the feature statistics as deterministic values measured from the learned features and do not explicitly consider the uncertain statistics discrepancy caused by potential domain shifts during testing. In this paper, we improve the network generalization ability by modeling the uncertainty of domain shifts with synthesized feature statistics during training. Specifically, we hypothesize that the feature statistic, after considering the potential uncertainties, follows a multivariate Gaussian distribution. Hence, each feature statistic is no longer a deterministic value, but a probabilistic point with diverse distribution possibilities. With the uncertain feature statistics, the models can be trained to alleviate the domain perturbations and achieve better robustness against potential domain shifts. Our method can be readily integrated into networks without additional parameters. Extensive experiments demonstrate that our proposed method consistently improves the network generalization ability on multiple vision tasks, including image classification, semantic segmentation, and instance retrieval. The code can be available at https://github.com/lixiaotong97/DSU.

研究动机与目标

• 通过利用不确定的特征统计，提升对未见域转移的鲁棒性。
• 提出一种概率化表述，将特征均值和方差建模为高斯分布。
• 实现使用采样的特征统计在训练时进行数据增强，以模拟多样化的域转移。
• 保持参数无关的集成方式，可以插入现有网络中。
• 展示在多种视觉任务上的泛化能力提升。

提出的方法

• 将特征统计（均值和标准差）建模为以原始值为中心的多元高斯分布。
• 通过统计量的非参数小批量方差估计每个通道的不确定性范围。
• 使用重参数化技巧从 N(original, scope^2) 采样新的统计量，以实现反向传播。
• 在训练过程中使用类似 AdaIN 的模块，用采样后的统计量替换原始统计量。
• 引入一个概率 p，控制在训练过程中应用 DSU 的频率（仅在训练时，无测试时开销）。
• 展示在网络各位置的即插即用集成，无需额外参数或损失。

实验结果

研究问题

• RQ1 特征统计的不确定性是否能提升对训练时未见的领域转移的鲁棒性？
• RQ2 在多种任务中，概率化特征统计增强是否比确定性统计方法带来更好的泛化？
• RQ3 DSU 如何与现有的领域泛化方法和图像级增强方法互动？
• RQ4 在网络的哪些位置插入 DSU 模块能获得最好收益？

主要发现

• DSU 在 PACS（多领域分类）上稳定提升相对于强基线的泛化能力。
• DSU 在平均准确率和各域表现方面优于若干先前的风格/统计方法（如 MixStyle、pAdaIN）。
• 在语义分割（GTA5 到 Cityscapes）中，DSU 相对于基线在 mIOU 与 mAcc 上取得显著提升（如 +6.1% mIOU，+5.5% mAcc）。
• 在实例检索（Duke-Market 数据集）中，DSU 在 mAP 和 R1 上相对于基线获得显著提升（约 +6–7 点）。
• DSU 提升对 ImageNet-C 的鲁棒性，并可与最先进方法（APR）互补。
• 消融研究显示 DSU 的增益在插入位置上保持，可对尝试的分布混合具有相对鲁棒性。