[论文解读] Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse Experts with Self-Supervision

Yifan Zhang, Bryan Hooi+2 more|arXiv (Cornell University)|Jul 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用 36

一句话总结

本文提出测试时聚合多样专家（TADE），一种用于测试无关长尾识别的方法。该方法在训练阶段学习技能多样的专家，并在测试阶段通过自监督动态聚合这些专家。仅使用三个专家，即可在任意偏斜的测试分布下实现最先进性能，有效模拟未知的测试类别分布，且无需事先了解测试分布。

ABSTRACT

Existing long-tailed recognition methods, aiming to train class-balanced models from long-tailed data, generally assume the models would be evaluated on the uniform test class distribution. However, practical test class distributions often violate this assumption (e.g., being long-tailed or even inversely long-tailed), which would lead existing methods to fail in real-world applications. In this work, we study a more practical task setting, called test-agnostic long-tailed recognition, where the training class distribution is long-tailed while the test class distribution is unknown and can be skewed arbitrarily. In addition to the issue of class imbalance, this task poses another challenge: the class distribution shift between the training and test samples is unidentified. To handle this task, we propose a new method, called Test-time Aggregating Diverse Experts, that presents two solution strategies: (1) a new skill-diverse expert learning strategy that trains diverse experts to excel at handling different class distributions from a single long-tailed training distribution; (2) a novel test-time expert aggregation strategy that leverages self-supervision to aggregate multiple experts for handling various unknown test distributions. We theoretically show that our method has a provable ability to simulate the test class distribution. Extensive experiments verify that our method achieves new state-of-the-art performance on both vanilla and test-agnostic long-tailed recognition, where only three experts are sufficient to handle arbitrarily varied test class distributions. Code is available at https://github.com/Vanint/TADE-AgnosticLT.

研究动机与目标

• 解决现有长尾识别方法的局限性，即假设测试类别分布均匀，而这一假设在现实场景中极少成立。
• 解决训练数据为长尾分布时，测试阶段类别分布发生未知且任意偏移的挑战。
• 开发一种方法，可自适应地处理任意偏斜的测试分布，且无需事先知晓测试分布。
• 在实际、现实的测试条件下实现稳健的识别性能，此时类别不平衡具有不可预测性。

提出的方法

• 采用技能多样的专家学习策略，在单一长尾训练分布上训练多个专家，每个专家针对不同的类别分布特征进行专业化。
• 专家被训练以专门处理特定类型的类别不平衡，从而在多样化测试分布中具备泛化能力。
• 设计测试时专家聚合机制，利用自监督方法根据输入特征动态组合多个专家，以适应未知的测试分布。
• 在测试时聚合过程中利用自监督，指导专家的选择与加权，而无需使用测试标签。
• 理论上证明该方法可通过专家集成动态特性，模拟未知的测试类别分布。
• 该框架仅需三个专家，即可在广泛范围的测试分布偏移下实现优异性能。

实验结果

研究问题

• RQ1 在未事先知晓测试分布的情况下，基于长尾分布训练的模型能否泛化到任意未知的测试时间类别分布？
• RQ2 如何有效训练多样化的专家，使其能从单一长尾训练集中覆盖广泛的潜在测试分布偏移？
• RQ3 在无测试标签访问的情况下，自监督的测试时聚合能否提升在分布偏移下的识别性能？
• RQ4 实现跨多样化测试分布的稳健性能，所需专家的最小数量是多少？
• RQ5 所提出的方法是否能严格证明在分布偏移下模拟测试分布？

主要发现

• 所提方法在标准与测试无关的长尾识别基准上均达到最先进性能。
• 仅需三个专家即可处理任意偏斜的测试分布，与先前方法相比显著降低复杂度。
• 该方法在极端测试时间类别分布偏移下表现出强大泛化能力，包括反向长尾与高度偏斜的分布。
• 自监督的测试时聚合实现了无需测试标签的精确专家加权，提升了鲁棒性。
• 理论分析证实，该方法可通过专家集成动态特性，严格模拟未知的测试类别分布。
• 实证结果表明，该方法在多个数据集与评估协议下均保持一致的性能提升，验证了其有效性。