[论文解读] Towards Calibrated Model for Long-Tailed Visual Recognition from Prior Perspective

Zhengzhuo Xu, Zenghao Chai+1 more|arXiv (Cornell University)|Nov 6, 2021

Retinal Imaging and Analysis被引用 15

一句话总结

本文提出两种新方法——Uniform Mixup（UniMix）和Bayes Bias（Bayias），以提升长尾视觉识别中的校准性能。UniMix 通过偏好尾部类别的混合因子与逆采样策略，生成更多头部-尾部混合样本；Bayias 则通过改进的交叉熵损失，校正训练集与测试集之间先验分布不一致的问题。二者结合在 CIFAR-LT、ImageNet-LT 和 iNaturalist 2018 上均取得最先进性能，显著提升校准效果与准确率。

ABSTRACT

Real-world data universally confronts a severe class-imbalance problem and exhibits a long-tailed distribution, i.e., most labels are associated with limited instances. The na\\"ive models supervised by such datasets would prefer dominant labels, encounter a serious generalization challenge and become poorly calibrated. We propose two novel methods from the prior perspective to alleviate this dilemma. First, we deduce a balance-oriented data augmentation named Uniform Mixup (UniMix) to promote mixup in long-tailed scenarios, which adopts advanced mixing factor and sampler in favor of the minority. Second, motivated by the Bayesian theory, we figure out the Bayes Bias (Bayias), an inherent bias caused by the inconsistency of prior, and compensate it as a modification on standard cross-entropy loss. We further prove that both the proposed methods ensure the classification calibration theoretically and empirically. Extensive experiments verify that our strategies contribute to a better-calibrated model, and their combination achieves state-of-the-art performance on CIFAR-LT, ImageNet-LT, and iNaturalist 2018.

研究动机与目标

• 解决数据不平衡导致深度模型在长尾视觉识别中校准差与泛化能力弱的问题。
• 识别标准 Mixup 在长尾设置下校准失败的根本原因在于头部-头部样本对生成过多。
• 提出一种新型数据增强策略（UniMix），通过促进头部-尾部混合来提升特征泛化能力。
• 引入 Bayes Bias（Bayias）以校正训练集与测试集之间先验分布不一致的问题。
• 将 UniMix 与 Bayias 统一为单一训练框架，实现更优校准与更高准确率的模型。

提出的方法

• 引入 ξ-Aug 概念以分析 Mixup 在长尾场景下的校准偏差，识别出头部-头部样本对生成过多为根本问题。
• 设计 Uniform Mixup（UniMix），采用与类别先验感知的混合因子 ξ*i,j ∼ U(π_yi, π_yj, α, α)，在混合过程中偏好少数类。
• 实施逆采样策略，提高在 Mixup 数据生成过程中选择头部-尾部样本对的概率。
• 将 Bayes Bias（Bayias）定义为 log(π_i) - log(π'_i)，其中 π_i 为训练先验，π'_i 为测试先验，用于校正先验不一致。
• 通过在标准交叉熵损失中添加 Bayias 作为类别特定偏置项，改进后验估计。
• 将 UniMix 与 Bayias 统一至单一训练流程中，协同提升校准性能与准确率。

实验结果

研究问题

• RQ1 为何标准 Mixup 在长尾视觉识别场景下无法实现模型校准？
• RQ2 如何重构数据增强策略，以提升长尾数据集中少数类的泛化能力？
• RQ3 训练集与测试集标签先验不一致所引入的内在偏差是什么？如何加以校正？
• RQ4 结合改进的数据增强与先验感知损失校正，能否实现更优校准的模型？
• RQ5 不同校准策略在联合使用时如何相互作用？是否存在干扰或协同效应？

主要发现

• UniMix 通过显著提升头部-尾部混合样本的比例，有效改善模型校准，降低头部类别过自信现象。
• Bayes Bias（Bayias）可有效校正训练集与测试集之间先验分布不一致，实现更精确的后验估计。
• UniMix 与 Bayias 联合使用在 CIFAR-100-LT-100 上实现最先进准确率与校准性能（以 ECE 衡量），准确率达 48.3%，ECE 为 1.44%。
• 在 ImageNet-LT 上，所提方法优于先前最先进方法，展现出强大的泛化能力。
• UniMix 与 Bayias 联合使用带来的校准效果优于任一方法单独使用，且未造成准确率下降。
• 实证结果表明，若校准性能不佳，方法组合可能适得其反，凸显校准一致性的重要性。