[论文解读] Understanding the Impact of Label Granularity on CNN-based Image Classification

Zhuo Chen, Ruizhou Ding+2 more|arXiv (Cornell University)|Jan 21, 2019

Machine Learning and Data Classification参考文献 19被引用 4

一句话总结

本文表明，使用细粒度标签（如“波斯猫”而非“猫”）进行CNN训练，可同时提升优化效果与泛化能力，从而在粗粒度分类任务中取得更高准确率。令人惊讶的是，仅用40%数据并配合细粒度标签训练的CNN，其性能优于使用完整数据集但仅使用粗粒度标签训练的模型，凸显了显著的数据效率提升。

ABSTRACT

In recent years, supervised learning using Convolutional Neural Networks (CNNs) has achieved great success in image classification tasks, and large scale labeled datasets have contributed significantly to this achievement. However, the definition of a label is often application dependent. For example, an image of a cat can be labeled as "cat" or perhaps more specifically "Persian cat." We refer to this as label granularity. In this paper, we conduct extensive experiments using various datasets to demonstrate and analyze how and why training based on fine-grain labeling, such as "Persian cat" can improve CNN accuracy on classifying coarse-grain classes, in this case "cat." The experimental results show that training CNNs with fine-grain labels improves both network's optimization and generalization capabilities, as intuitively it encourages the network to learn more features, and hence increases classification accuracy on coarse-grain classes under all datasets considered. Moreover, fine-grain labels enhance data efficiency in CNN training. For example, a CNN trained with fine-grain labels and only 40% of the total training data can achieve higher accuracy than a CNN trained with the full training dataset and coarse-grain labels. These results point to two possible applications of this work: (i) with sufficient human resources, one can improve CNN performance by re-labeling the dataset with fine-grain labels, and (ii) with limited human resources, to improve CNN performance, rather than collecting more training data, one may instead use fine-grain labels for the dataset. We further propose a metric called Average Confusion Ratio to characterize the effectiveness of fine-grain labeling, and show its use through extensive experimentation. Code is available at https://github.com/cmu-enyac/Label-Granularity.

研究动机与目标

• 探究标签粒度如何影响CNN在图像分类任务中的性能表现。
• 确定与粗粒度标注相比，使用细粒度标注进行训练是否能提升准确率与数据效率。
• 提出一种定量指标，用于预测细粒度标注的有效性。
• 探索在人力与数据资源受限条件下，细粒度标注的实际应用场景。

提出的方法

• 在CIFAR-10、CIFAR-100和ImageNet数据集上开展大量实验，比较使用粗粒度标签与细粒度标签进行训练的效果。
• 使用完整数据集及缩减后的数据集（如40%）训练CNN，以评估数据效率。
• 定义并计算平均混淆比（ACR），用以衡量标签层级质量，并预测性能增益。
• 通过引入随机因子控制细粒度标签中的噪声，以测试细粒度标注优势的鲁棒性。
• 在CIFAR-100中改变粗粒度类别的数量，研究细粒度标注的收益递减现象。
• 分析测试准确率的提升量（ΔA^test），并将其与多个实验设置下的ACR值进行相关性分析。

实验结果

研究问题

• RQ1 与使用粗粒度标签训练相比，使用细粒度标签训练是否能提升在粗粒度类别上的分类准确率？
• RQ2 细粒度标注在CNN训练中的数据效率方面有何影响？
• RQ3 哪些因素决定了细粒度标注在提升CNN性能方面的有效性？
• RQ4 能否通过定量指标预测使用细粒度标签带来的性能增益？
• RQ5 粗粒度类别的数量如何影响细粒度标注的收益？

主要发现

• 在仅使用CIFAR-10训练数据40%的情况下，使用细粒度标签训练的CNN测试准确率达到99.20%，高于使用完整数据集和粗粒度标签训练的模型（98.42%）。
• 在所有测试的数据集（包括CIFAR-10、CIFAR-100和ImageNet子集）中，细粒度标注均同时提升了训练准确率（优化）与测试准确率（泛化）。
• 随着粗粒度类别数量的增加，细粒度标注带来的性能提升逐渐减小，当CIFAR-100中粗粒度类别数超过15时，增益趋于可忽略。
• 平均混淆比（ACR）指标与性能增益高度相关，ACR值越高，预测的测试准确率提升越大。
• 当细粒度标签被逐步引入随机噪声时，细粒度训练带来的性能增益随之减弱，表明标签质量至关重要。
• 细粒度标注促进了更快的收敛速度与更优的特征学习，从而增强了网络对粗粒度类别的泛化能力。