[论文解读] Semantic Redundancies in Image-Classification Datasets: The 10% You Don't Need

Vighnesh Birodkar, Hossein Mobahi+1 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Neural Network Applications参考文献 31被引用 18

一句话总结

本文识别并证明了在 ImageNet 和 CIFAR-10 的训练数据中，至少有 10% 的数据在语义上是冗余的，这意味着可以将其移除而不影响模型的泛化能力。通过在特征空间中进行语义聚类，作者表明：在姿态、颜色、纹理或背景方面仅有微小变化的图像会形成冗余组，而移除这些图像后测试准确率保持不变，从而挑战了以往认为大规模数据集不存在冗余的假设。

ABSTRACT

Large datasets have been crucial to the success of deep learning models in the recent years, which keep performing better as they are trained with more labelled data. While there have been sustained efforts to make these models more data-efficient, the potential benefit of understanding the data itself, is largely untapped. Specifically, focusing on object recognition tasks, we wonder if for common benchmark datasets we can do better than random subsets of the data and find a subset that can generalize on par with the full dataset when trained on. To our knowledge, this is the first result that can find notable redundancies in CIFAR-10 and ImageNet datasets (at least 10%). Interestingly, we observe semantic correlations between required and redundant images. We hope that our findings can motivate further research into identifying additional redundancies and exploiting them for more efficient training or data-collection.

研究动机与目标

• 调查在 ImageNet 和 CIFAR-10 等广泛使用的图像分类数据集中是否存在显著冗余。
• 挑战主流观点，即这些数据集缺乏显著冗余，尤其在先前有相反主张的背景下。
• 证明可通过安全移除在语义上仅有微小差异的图像子集，而不影响模型的泛化性能。
• 提供实证证据表明，语义聚类能够识别训练数据中的冗余组，为实现更高效的数据训练提供路径。

提出的方法

• 作者使用深度神经网络特征（例如来自预训练 ResNet 的特征）将图像嵌入到语义特征空间中。
• 他们应用层次聚类并结合学习得到的相异度度量，对数据集中语义相似的图像进行分组。
• 如果图像仅在颜色、姿态、纹理或背景等微小属性上存在差异，则认为其属于冗余组。
• 该方法为每个聚类选择一个代表性图像，并移除其余所有图像，从而形成一个精简的训练集。
• 在精简数据集上评估模型性能，以衡量其泛化能力与完整数据集的对比。
• 该方法在 ImageNet、CIFAR-10 和 CIFAR-100 上进行了验证，并对子集大小进行了消融研究。

实验结果

研究问题

• RQ1 是否可以在标准图像分类数据集（如 ImageNet 和 CIFAR-10）中识别出显著的语义冗余？
• RQ2 移除因微小语义差异而构成的冗余图像，是否会负面影响模型的泛化能力？
• RQ3 在聚类精简数据集上训练的模型性能，与在随机子集或完整数据集上训练的模型相比如何？
• RQ4 为何在精简数据集上观察到的性能轻微提升，可能暗示训练数据中的冗余会阻碍优化过程？
• RQ5 为何在 CIFAR-100 中未检测到显著冗余，而 ImageNet 和 CIFAR-10 中却存在？

主要发现

• 在从零开始训练时，ImageNet 和 CIFAR-10 训练集中的至少 10% 可以被移除，而不会导致测试准确率下降。
• 在精简数据集（原大小的 90%）上训练的模型性能与在完整数据集上训练的模型相当，甚至略有提升，表明冗余可能阻碍优化过程。
• 冗余组由颜色、姿态、纹理或背景等微小语义差异定义，且各聚类内部图像在视觉上具有一致性。
• CIFAR-10 中冗余组的语义空间呈现紧密聚类，而在 CIFAR-100 中点分布更分散，解释了为何难以检测到冗余。
• 虽被排除在冗余组之外但语义空间上相近的图像，仍存在关键属性差异（如轿车与跑车），证实了该方法对语义差异的敏感性。
• 结果反驳了先前关于这些数据集中不存在冗余的主张，表明通过识别并移除此类语义冗余样本，可显著提升数据效率。