[论文解读] Understanding Why Generalized Reweighting Does Not Improve Over ERM

Runtian Zhai, Dan Chen+2 more|arXiv (Cornell University)|Jan 28, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文表明，在过参数化模型中，广义重加权（GRW）方法——包括重要性加权和分布鲁棒优化（DRO）——在泛化性能上并未优于经验风险最小化（ERM）。通过宽神经网络的理论分析，本文证明GRW与ERM由于共享隐式偏差，收敛至几乎相同的模型，这意味着GRW无法在不进行根本性方法论变革或引入新型损失函数的前提下实现分布鲁棒泛化。

ABSTRACT

Empirical risk minimization (ERM) is known in practice to be non-robust to distributional shift where the training and the test distributions are different. A suite of approaches, such as importance weighting, and variants of distributionally robust optimization (DRO), have been proposed to solve this problem. But a line of recent work has empirically shown that these approaches do not significantly improve over ERM in real applications with distribution shift. The goal of this work is to obtain a comprehensive theoretical understanding of this intriguing phenomenon. We first posit the class of Generalized Reweighting (GRW) algorithms, as a broad category of approaches that iteratively update model parameters based on iterative reweighting of the training samples. We show that when overparameterized models are trained under GRW, the resulting models are close to that obtained by ERM. We also show that adding small regularization which does not greatly affect the empirical training accuracy does not help. Together, our results show that a broad category of what we term GRW approaches are not able to achieve distributionally robust generalization. Our work thus has the following sobering takeaway: to make progress towards distributionally robust generalization, we either have to develop non-GRW approaches, or perhaps devise novel classification/regression loss functions that are adapted to the class of GRW approaches.

研究动机与目标

• 从理论上解释为何近期如DRO和重要性加权等分布鲁棒方法在实践中未能优于ERM。
• 在过参数化模型的背景下，识别该失败的根本原因。
• 将先前仅限于线性模型和固定权重的理论结果，扩展至宽神经网络、动态重加权及L2正则化设置。
• 修正先前NTK证明中的关键缺陷（Lee et al., 2019），涉及梯度范数缩放与初始化问题。

提出的方法

• 引入广义重加权（GRW）作为一类广义的迭代重加权算法，可在训练过程中动态调整样本权重。
• 利用神经正切核（NTK）框架分析GRW的隐式偏差，以研究其在宽神经网络中的收敛性。
• 通过将最后一层权重初始化为零而非高斯分布，对NTK公式进行修改，从而实现对梯度和权重范数演化的更紧边界。
• 证明GRW模型与其线性化近似之间的差异被有界于O(˜d^{r−1/2})，其中r ∈ (0, 1/2)，从而修正了先前O(˜d^{−1/2})的声明。
• 建立GRW的隐式偏差在该框架下几乎与ERM完全相同，意味着其在泛化性能上无显著提升。
• 通过证明第一层梯度范数并不因有界激活范数而需要更小的学习率，修正了Lee et al. (2019)中的缺陷。

实验结果

研究问题

• RQ1 为何基于GRW的方法（如DRO和重要性加权）在真实世界的过参数化模型中未能优于ERM？
• RQ2 在宽神经网络中，GRW方法是否诱导出与ERM根本不同的隐式偏差？
• RQ3 在动态重加权与正则化条件下，能否在理论上证明GRW的隐式偏差收敛至与ERM相同的解？
• RQ4 在NTK框架下，GRW与其线性化近似之间泛化差距的正确渐近界是什么？
• RQ5 修改最后一层初始化如何影响NTK近似的有效性以及GRW的收敛行为？

主要发现

• 在宽神经网络中，GRW与ERM收敛至几乎相同的模型，表明GRW并未产生显著不同的解。
• GRW的隐式偏差在本质上等同于ERM的隐式偏差，解释了其在分布鲁棒泛化方面缺乏改进的原因。
• GRW与其线性化近似之间差异的理论界为O(˜d^{r−1/2})，其中r ∈ (0, 1/2)，修正了先前O(˜d^{−1/2})的声明。
• 通过将最后一层初始化为零，修正了NTK证明中的缺陷，该方法降低了最后一层权重的范数，从而收紧了近似界。
• 小幅度的L2正则化不会改变隐式偏差，因此无法帮助GRW突破与ERM的等价性。
• 在新初始化下，核矩阵保持非退化且满秩，从而维持了NTK框架的有效性。