[论文解读] On The State of Data In Computer Vision: Human Annotations Remain Indispensable for Developing Deep Learning Models

Zeyad Emam, Andrew Kondrich+5 more|arXiv (Cornell University)|Jul 31, 2021

Advanced Neural Network Applications参考文献 72被引用 7

一句话总结

本文研究了人工标注数据在计算机视觉深度学习模型训练中的作用，结论是尽管自监督学习和合成数据方法取得了进展，但高质量的人工标注数据集对于实现最先进性能仍然不可或缺。该研究分析了JFT-300M和Instagram-1B等大规模数据集，表明即使存在显著的标签噪声，人工标注数据在模型泛化能力和公平性方面仍优于合成替代方案。

ABSTRACT

High-quality labeled datasets play a crucial role in fueling the development of machine learning (ML), and in particular the development of deep learning (DL). However, since the emergence of the ImageNet dataset and the AlexNet model in 2012, the size of new open-source labeled vision datasets has remained roughly constant. Consequently, only a minority of publications in the computer vision community tackle supervised learning on datasets that are orders of magnitude larger than Imagenet. In this paper, we survey computer vision research domains that study the effects of such large datasets on model performance across different vision tasks. We summarize the community's current understanding of those effects, and highlight some open questions related to training with massive datasets. In particular, we tackle: (a) The largest datasets currently used in computer vision research and the interesting takeaways from training on such datasets; (b) The effectiveness of pre-training on large datasets; (c) Recent advancements and hurdles facing synthetic datasets; (d) An overview of double descent and sample non-monotonicity phenomena; and finally, (e) A brief discussion of lifelong/continual learning and how it fares compared to learning from huge labeled datasets in an offline setting. Overall, our findings are that research on optimization for deep learning focuses on perfecting the training routine and thus making DL models less data hungry, while research on synthetic datasets aims to offset the cost of data labeling. However, for the time being, acquiring non-synthetic labeled data remains indispensable to boost performance.

研究动机与目标

• 评估当前计算机视觉中数据的现状，特别是人工标注数据集在训练深度学习模型中的作用。
• 评估在JFT-300M和Instagram-1B等大规模标注数据集上进行预训练对下游任务性能的提升效果。
• 研究大规模数据集中标签噪声的影响，以及其是否损害模型泛化能力。
• 探索合成数据和自监督学习作为人工标注数据替代方案的潜力。
• 考察在大规模、长尾且存在偏见的数据集上进行训练的公平性影响，以及合成数据是否能缓解这些问题。

提出的方法

• 调研了主要的公共和私有计算机视觉数据集，包括JFT-300M（3亿张图像，3.75亿个有噪声的标签）、Instagram-1B（35亿张图像）和YFCC-100M，以分析规模和标签质量。
• 分析了在JFT-300M上预训练并在ImageNet等下游任务上微调的模型性能，测量准确率提升和泛化行为。
• 通过向数据集中注入随机标签（例如在Instagram-1B中随机替换50%的标签）来评估标签噪声的影响，测量准确率下降情况。
• 回顾了处理标签噪声的技术，包括损失校正（Patrini et al., 2017）和标签平滑，应用于Clothing1M等数据集。
• 探索了通过生成模型（如GANs）生成合成数据以改善公平性，以UCI Adult人口普查数据集作为测试平台。
• 研究了随着数据集规模增大，模型性能中出现的双重下降和样本非单调性现象。

实验结果

研究问题

• RQ1 在JFT-300M和Instagram-1B等大规模人工标注数据集上训练的模型，在多大程度上优于在较小或合成数据集上训练的模型？
• RQ2 大规模数据集中标签噪声如何影响模型泛化能力？现有校正技术能否缓解其影响？
• RQ3 合成数据能否有效替代人工标注数据，以提升复杂视觉任务中的模型公平性和性能？
• RQ4 在准确率和效率方面，大规模数据集预训练与在小规模高质量数据集上微调之间的权衡是什么？
• RQ5 数据集规模和类别不平衡如何影响深度学习模型中的算法公平性？

主要发现

• 在JFT-300M上进行预训练显著提升了ImageNet等下游任务的性能，证明了大规模人工标注数据的价值。
• 当Instagram-1B中50%的标签被随机替换时，模型准确率下降了7.31%至14.29%，表明噪声对性能有可测量的负面影响。
• 尽管JFT-300M中存在高达20%的错误率，模型仍表现出强大的泛化能力，表明即使标签不完美，也能实现高质量性能。
• 在Clothing1M数据集上，损失校正方法使准确率提高了16.59%，表明通过适当技术可有效缓解标签噪声的影响。
• 合成数据生成在改善表格数据（如UCI Adult）的公平性方面展现出潜力，但其在复杂、非结构化图像数据上的有效性尚未得到验证，仍待探索。
• 本文结论是，人工标注数据在训练高性能深度学习模型方面依然不可或缺，尤其是在自动驾驶等真实世界、关键任务应用中。