[论文解读] The Devil is in the Tails: Fine-grained Classification in the Wild

Grant Van Horn, Pietro Perona|arXiv (Cornell University)|Sep 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 34被引用 137

一句话总结

本文分析了现实世界中长尾数据（eBird、iNaturalist 和 Pasadena Trees）如何影响使用最先进网络的细粒度分类，显示头部类表现强劲但尾部类显著恶化，且头到尾的迁移极小。

ABSTRACT

The world is long-tailed. What does this mean for computer vision and visual recognition? The main two implications are (1) the number of categories we need to consider in applications can be very large, and (2) the number of training examples for most categories can be very small. Current visual recognition algorithms have achieved excellent classification accuracy. However, they require many training examples to reach peak performance, which suggests that long-tailed distributions will not be dealt with well. We analyze this question in the context of eBird, a large fine-grained classification dataset, and a state-of-the-art deep network classification algorithm. We find that (a) peak classification performance on well-represented categories is excellent, (b) given enough data, classification performance suffers only minimally from an increase in the number of classes, (c) classification performance decays precipitously as the number of training examples decreases, (d) surprisingly, transfer learning is virtually absent in current methods. Our findings suggest that our community should come to grips with the question of long tails.

研究动机与目标

• 突出在野外环境下长尾（头尾）分布如何影响细粒度视觉分类。
• 量化头部代表性较强的类别与稀缺尾部类别之间的性能差距。
• 评估在单域长尾设置下的迁移学习与跨类别知识转移。

提出的方法

• 使用在 ImageNet 上预训练的 Inception-v3，并在来自 eBird 的各种长尾与均匀数据集上微调所有层。
• 构建具有受控头部/尾部拆分与每个类别图像数量的均匀、近似长尾和完整长尾数据集。
• 比较训练方案，包括均匀采样与自然采样，以及头尾联合训练 vs 仅头部或尾部模型训练。
• 在验证/测试集上使用 Top-1 准确率进行评估，测试时进行中心裁剪。
• 通过改变头部/尾部数据并报告仅头部 vs 尾部 vs 联合训练的结果来分析迁移效应。

实验结果

研究问题

• RQ1 在单一域内，训练图像的长尾分布如何影响细粒度分类？
• RQ2 在训练单一模型时，头部数据与尾部数据对整体以及尾部类别准确率有何影响？
• RQ3 在当前模型中，头部类别到尾部类别的迁移学习或知识转移是否显著？
• RQ4 采样策略（均匀分布与自然分布）是否影响长尾设置下尾部与头部类别的性能？

主要发现

• 当每个类别都有数千张图像时，细粒度准确率很高，但随着尾部类别样本减少而显著降低。
• 在数据充足的情况下，增加类别数量对性能的影响仅略微；数据量比类别数量对准确率的影响更大。
• 头部与尾部类别之间的迁移学习在当前模型中几乎没有；在单域内添加头部类别数据对尾部类别性能没有显著改进。
• 头部类别有利于自然采样；尾部类别在联合训练时对头部类别数据的迁移收益有限或没有。
• 即使对头部类别进行大量数据训练，尾部性能仍然较差，表明需要低样本和迁移学习方法。