[论文解读] On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond

Yuzhe Yang, Hao Wang+1 more|arXiv (Cornell University)|Mar 17, 2022

Artificial Intelligence in Healthcare被引用 4

一句话总结

本文提出了多域长尾识别（MDLT）这一新任务，旨在解决具有不同类别分布和域偏移的多个域之间的标签不平衡问题。提出了一种理论基础坚实的损失函数BoDA，通过在不同域之间对齐特征并考虑类别不平衡，优化可迁移性统计量的上界，在MDLT和域泛化基准上实现了最先进性能。

ABSTRACT

Real-world data often exhibit imbalanced label distributions. Existing studies on data imbalance focus on single-domain settings, i.e., samples are from the same data distribution. However, natural data can originate from distinct domains, where a minority class in one domain could have abundant instances from other domains. We formalize the task of Multi-Domain Long-Tailed Recognition (MDLT), which learns from multi-domain imbalanced data, addresses label imbalance, domain shift, and divergent label distributions across domains, and generalizes to all domain-class pairs. We first develop the domain-class transferability graph, and show that such transferability governs the success of learning in MDLT. We then propose BoDA, a theoretically grounded learning strategy that tracks the upper bound of transferability statistics, and ensures balanced alignment and calibration across imbalanced domain-class distributions. We curate five MDLT benchmarks based on widely-used multi-domain datasets, and compare BoDA to twenty algorithms that span different learning strategies. Extensive and rigorous experiments verify the superior performance of BoDA. Further, as a byproduct, BoDA establishes new state-of-the-art on Domain Generalization benchmarks, highlighting the importance of addressing data imbalance across domains, which can be crucial for improving generalization to unseen domains. Code and data are available at: https://github.com/YyzHarry/multi-domain-imbalance.

研究动机与目标

• 将多域长尾识别（MDLT）正式确立为一种新的学习范式，实现对具有不同标签分布的不平衡域的泛化。
• 解决单域长尾学习在现实场景中的局限性，即数据源自多个具有不同类别频率的域。
• 构建统一框架——域-类可迁移性图，用于在数据不平衡条件下建模域-类对之间的可迁移性。
• 设计BoDA（平衡域-类分布对齐），一种损失函数，确保在不平衡的域-类分布下实现均衡的对齐与校准。
• 在五个精心构建的MDLT基准上评估BoDA，并证明其优于20种现有方法，包括在域泛化任务中取得最先进性能。

提出的方法

• 提出域-类可迁移性图，其中节点代表域-类对，边代表嵌入空间距离，用于在不平衡条件下建模域间与类间可迁移性。
• 引入BoDA（平衡域-类分布对齐），一种损失函数，鼓励同一类别在不同域之间的特征相似性，同时惩罚不同类别之间的相似性。
• BoDA通过优化平衡可迁移性统计量的上界，显式处理类别不平衡，确保在样本数量偏斜的情况下仍能实现稳定学习。
• 该方法采用对比损失风格，惩罚类别间与域间的特征相似性，同时促进类内对齐，正则化参数根据类别频率进行调整。
• 理论分析证明，最小化BoDA可优化可迁移性统计量的上界，从而证明其在MDLT中的有效性。
• 在五个源自标准域泛化数据集的MDLT基准上进行实证评估，实现对域间标签不平衡的受控设置。

实验结果

研究问题

• RQ1 多个域之间的数据不平衡在标签分布不同的情况下，如何影响模型的泛化能力？
• RQ2 统一的表示学习框架能否有效处理多域识别中的域内标签不平衡与跨域分布偏移？
• RQ3 域-类对之间的可迁移性在多域设置下，对长尾学习成功的影响程度如何？
• RQ4 能否设计一种损失函数，在保持对未见域泛化能力的同时，平衡不均衡域-类分布下的对齐与校准？
• RQ5 在主要任务并非长尾识别的情况下，解决域间数据不平衡是否仍能提升域泛化性能？

主要发现

• 在五个MDLT基准上，BoDA在所有20个基线模型中均实现一致且显著的准确率提升，极端标签不平衡下平均提升高达6.4%。
• 在Digits-MLT数据集上，BoDA在所有标签配置下均保持一致的可迁移性，而ERM在分布差异大且不平衡时失效，平均提升6.4%。
• 从域-类可迁移性图中推导出的可迁移性统计量（α, β, γ）与所有MDLT数据集的测试准确率具有强相关性（R² > 0.9），验证了其作为性能预测因子的作用。
• 与ERM相比，BoDA将训练数据与测试数据之间的特征差异（尤其是尾部类别）减少了最多40%，从而提升了域泛化能力。
• 当与最先进域泛化方法结合时，BoDA在DG基准上创下新的SOTA，证明了对不平衡性的感知设计可增强分布外泛化能力。
• 可视化结果表明，BoDA在少数类（特征空间中的红色区域）上学习到更对齐且更鲁棒的表示，尤其在高域偏移与不平衡条件下表现更优。