[论文解读] Remix: Rebalanced Mixup

Hsin-Ping Chou, Shih-Chieh Chang+3 more|arXiv (Cornell University)|Jul 8, 2020

Imbalanced Data Classification Techniques参考文献 47被引用 57

一句话总结

Remix通过在特征与标签混合因子上解耦来放松Mixup，使混合样本朝向少数类标记，从而更好地处理不平衡数据，并在多个数据集上改进基于Mixup的正则化，尤其是在结合再加权或再采样时。

ABSTRACT

Deep image classifiers often perform poorly when training data are heavily class-imbalanced. In this work, we propose a new regularization technique, Remix, that relaxes Mixup's formulation and enables the mixing factors of features and labels to be disentangled. Specifically, when mixing two samples, while features are mixed in the same fashion as Mixup, Remix assigns the label in favor of the minority class by providing a disproportionately higher weight to the minority class. By doing so, the classifier learns to push the decision boundaries towards the majority classes and balance the generalization error between majority and minority classes. We have studied the state-of-the art regularization techniques such as Mixup, Manifold Mixup and CutMix under class-imbalanced regime, and shown that the proposed Remix significantly outperforms these state-of-the-arts and several re-weighting and re-sampling techniques, on the imbalanced datasets constructed by CIFAR-10, CIFAR-100, and CINIC-10. We have also evaluated Remix on a real-world large-scale imbalanced dataset, iNaturalist 2018. The experimental results confirmed that Remix provides consistent and significant improvements over the previous methods.

研究动机与目标

• 解决由不平衡训练数据引起的深度图像分类器偏差问题。
• 引入Remix，在Mixup基础正则化中解耦特征与标签的混合因子。
• 在不平衡基准数据集上证明Remix优于Mixup、Manifold Mixup和CutMix。
• 展示Remix与再加权或再采样技术的兼容性及叠加收益。

提出的方法

• 用独立的特征与标签混合因子来定义Remix：tilde x_RM = lambda_x x_i + (1-lambda_x) x_j 和 tilde y_RM = lambda_y y_i + (1-lambda_y) y_j。
• 通过涉及kappa和tau的规则使lambda_y依赖于类别频率（n_i, n_j），从而在少数类上实现标签强调。
• 说明当lambda_y = lambda_x时，Remix会简化为标准Mixup/Manifold Mixup/CutMix，并描述如何将Remix与现有的基于Mixup的方法集成。
• 提供一个算法 Outline（采样对、从Beta分布抽取lambda_x、计算lambda_y、形成Remix样本、并用Remix损失更新模型）。
• 就超参数选择（tau、kappa）提供指导，并强调与其他处理不平衡技术的集成简便性。

实验结果

研究问题

• RQ1 特征-标签混合因子解耦是否能在类别不平衡下改善学习？
• RQ2 在不平衡数据集上，Remix相对基于Mixup的方法（Mixup、Manifold Mixup、CutMix）的表现如何？
• RQ3 Remix能否增强再加权和再采样策略，在长尾和阶梯不平衡情形下获得更好结果？
• RQ4 Remix在实用超参数（tau、kappa）和集成方面的敏感性及实现注意事项是什么？
• RQ5 Remix在大规模真实不平衡数据如iNaturalist 2018上是否有效？

主要发现

• Remix在不平衡的CIFAR-10/100和CINIC-10上，始终优于原生Mixup、基于Mixup的方法以及若干再加权/再采样基线。
• 当与延迟再加权（DRW）或延迟再采样（DRS）结合时，Remix取得显著提升，通常在测试配置中取得最佳结果。
• 该方法在阶梯不平衡下尤为有益，在实际不平衡数据（iNaturalist 2018）上仍然有效。
• Remix与其他基于Mixup的正则化（如Manifold Mixup、CutMix）兼容，通常能提升它们的性能，特别是在严重不平衡时（rho = 100）。
• 定性分析表明Remix将决策边界向少数类倾斜，为多数类创造更紧的边界，同时提升对少数类的判定。