[论文解读] Risk Variance Penalization

Chuanlong Xie, Haotian Ye+4 more|arXiv (Cornell University)|Jun 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用 5

一句话总结

本文提出了风险方差惩罚（RVP），一种理论基础坚实的域泛化方法，通过重新表述方差风险外推（V-REx）来确保对分布外偏移的鲁棒性。RVP被证明与极小极大REx（MM-REx）等价，为正则化参数提供了理论启发的调优方案，并在特定条件下实证发现了不变预测器。

ABSTRACT

The key of the out-of-distribution (OOD) generalization is to generalize invariance from training domains to target domains. The variance risk extrapolation (V-REx) is a practical OOD method, which depends on a domain-level regularization but lacks theoretical verifications about its motivation and utility. This article provides theoretical insights into V-REx by studying a variance-based regularizer. We propose Risk Variance Penalization (RVP), which slightly changes the regularization of V-REx but addresses the theory concerns about V-REx. We provide theoretical explanations and a theory-inspired tuning scheme for the regularization parameter of RVP. Our results point out that RVP discovers a robust predictor. Finally, we experimentally show that the proposed regularizer can find an invariant predictor under certain conditions.

研究动机与目标

• 为解决方差风险外推（V-REx）在分布外（OOD）泛化中缺乏理论依据的问题。
• 开发一种基于方差的正则化器，在保持V-REx实际成功的同时提供理论基础。
• 通过重新表述的正则化项，建立V-REx与极小极大REx（MM-REx）之间的联系。
• 为新方法中的正则化参数提供理论启发的调优方案。
• 通过实证验证，所提出的方法在特定条件下能够发现不变预测器。

提出的方法

• 提出风险方差惩罚（RVP），即V-REx的改进版本，用更具理论基础的公式替代原始基于方差的正则化。
• 证明RVP在数学上等价于极小极大REx（MM-REx），从而继承其理论鲁棒性。
• 将RVP重新解释为分位数回归问题，以支持正则化参数的理论分析。
• 基于分位数回归的解释，推导出正则化参数的理论启发式调优方案。
• 在实验中采用两阶段学习过程，以隔离方差正则化的影响，使用动态λ来强制实现跨域的风险不变性。
• 在合成数据集和真实世界数据集（包括ColoredMNIST）上验证该方法，涵盖不同水平的分布偏移和噪声。

实验结果

研究问题

• RQ1 在域泛化背景下，基于方差的正则化器能否获得理论上的合理解释？
• RQ2 所提出的RVP方法与现有方法（如V-REx和MM-REx）之间有何关系？
• RQ3 RVP中的正则化参数能否基于理论原则进行调优，而非依赖启发式搜索？
• RQ4 在何种条件下，RVP能够成功发现跨分布外域的不变预测器？
• RQ5 RVP中的基于方差的正则化是否能有效抑制虚假相关性并提升OOD泛化性能？

主要发现

• RVP在理论上等价于极小极大REx（MM-REx），为V-REx的实际成功提供了严谨基础。
• RVP中的正则化参数可解释为分位数回归参数，从而支持基于理论的调优策略。
• 实验表明，RVP在OOD泛化性能方面表现强劲，在合成数据集和ColoredMNIST数据集上与IRL或V-REx相当或更优。
• 在高噪声水平（Pε = 0.5）下，RVP通过学习不变特征维持了良好性能，而ERM和Group DRO则表现不佳。
• 弹性学习消融实验表明，若缺乏适当的正则化，强制实现风险不变性将导致学习到虚假的、与域相关的规则（如y=z与y=1−z），凸显了RVP结构化正则化的必要性。
• 在控制实验中，当数据包含因果特征时，RVP成功发现了不变预测器。