[论文解读] Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier

Tz-Ying Wu, Pedro Morgado+3 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用 4

一句话总结

本文提出 Deep-RTC，一种深度真实分类器，通过在不确定性较高时允许模型拒绝细粒度分类并转而进行更粗粒度、更自信的预测，从而提升长尾识别性能。通过在训练期间使用随机树采样，并在推理时采用多级退出决策的动态推理机制，Deep-RTC 在长尾数据集上实现了最先进性能，其正确预测比特数（CPB）相比之前方法最高提升 11%。

ABSTRACT

Long-tail recognition tackles the natural non-uniformly distributed data in real-world scenarios. While modern classifiers perform well on populated classes, its performance degrades significantly on tail classes. Humans, however, are less affected by this since, when confronted with uncertain examples, they simply opt to provide coarser predictions. Motivated by this, a deep realistic taxonomic classifier (Deep-RTC) is proposed as a new solution to the long-tail problem, combining realism with hierarchical predictions. The model has the option to reject classifying samples at different levels of the taxonomy, once it cannot guarantee the desired performance. Deep-RTC is implemented with a stochastic tree sampling during training to simulate all possible classification conditions at finer or coarser levels and a rejection mechanism at inference time. Experiments on the long-tailed version of four datasets, CIFAR100, AWA2, Imagenet, and iNaturalist, demonstrate that the proposed approach preserves more information on all classes with different popularity levels. Deep-RTC also outperforms the state-of-the-art methods in longtailed recognition, hierarchical classification, and learning with rejection literature using the proposed correctly predicted bits (CPB) metric.

研究动机与目标

• 解决深度学习模型在长尾数据分布中对罕见（尾部）类别性能下降的问题。
• 克服平面分类器的局限性，后者强制所有预测均以最细粒度进行，即使置信度较低。
• 模仿人类认知机制，当细粒度分类存在不确定性时，允许分类器做出更粗粒度、更可靠的预测。
• 提出一种新的评估指标——正确预测比特数（CPB），以更好地捕捉分层分类中的信息恢复情况。
• 开发一种训练与推理框架，实现在分类树多个层级上的动态预测，同时保持高置信度。

提出的方法

• 在训练期间提出一种随机树采样（STS）正则化方法，以模拟分类树的所有可能切割方式，类似于 dropout，但适用于分层结构。
• 实现一种动态 Softmax 分类器，可生成分类树中任意节点的预测，而不仅限于叶节点。
• 在推理阶段引入拒绝机制，当置信度低于阈值时，允许样本在中间节点退出分类树。
• 训练模型在分类树的每一级均输出校准的概率估计，以支持在何时退出的可靠决策。
• 整合标签编码与分层损失函数，以支持多级预测并实现类别间知识迁移。
• 在训练过程中优化 CPB 指标，优先考虑正确信息恢复，而非严格的叶节点准确率。

实验结果

研究问题

• RQ1 允许粗粒度预测的分层分类器是否能相比标准平面分类器提升长尾识别性能？
• RQ2 在分类树中间层级实现动态退出，如何影响不同类别流行度水平下的信息恢复与预测置信度？
• RQ3 在训练期间使用随机树采样在多大程度上能提升长尾设置下的泛化能力与鲁棒性？
• RQ4 一种优先考虑正确部分预测（通过 CPB 衡量）的模型，是否能在长尾识别任务中超越最先进平面与分层方法？
• RQ5 一种具备动态、置信度感知能力的分类器，是否能减少少样本类别上的性能下降，同时不牺牲多样本类别的准确率？

主要发现

• 在 iNaturalist-LT 数据集上，Deep-RTC 相较于最先进平面分类器，CPB 提升 9%；在 ImageNet-LT 上提升 11%。
• 在所有四个数据集（CIFAR100-LT、AWA2-LT、ImageNet-LT、iNaturalist-LT）上，Deep-RTC 在各类别流行度水平下均保持高性能，而先前方法在多样本类别上性能会下降。
• 对于少样本类别，Deep-RTC 的拒绝率约为 50%，且被拒绝样本的分层准确率超过 90%，表明其在粗粒度预测上具有高度置信。
• 在所有拒绝率场景下，Deep-RTC 均优于最先进平面真实预测器（RP），尤其在少样本与中样本类别上表现更优，得益于其可在中间节点实现软拒绝。
• 该方法在分层分类基准测试中取得更优结果，即使其模型架构比其他竞争方法更简单，后者需引入复杂分支结构。
• CPB 指标显示，Deep-RTC 恢复的每样本信息显著多于先前方法，尤其对低流行度类别，其更倾向于正确预测中间层级结果，而非错误的叶节点结果。