[论文解读] PASS: An ImageNet replacement for self-supervised pretraining without humans

Yuki Asano, Christian Rupprecht+2 more|arXiv (Cornell University)|Sep 27, 2021

Medical Imaging and Analysis被引用 10

一句话总结

PASS 是一个包含 128 万张图像的自监督预训练数据集，全部由非人类图像构成，采用 CC-BY 许可证并完整标注来源，旨在替代 ImageNet 用于模型预训练，且无伦理或法律风险。其在下游任务（如人体姿态估计）中的性能与 ImageNet 相当，证明了无需人类图像的数据同样可有效预训练视觉模型。

ABSTRACT

Computer vision has long relied on ImageNet and other large datasets of images sampled from the Internet for pretraining models. However, these datasets have ethical and technical shortcomings, such as containing personal information taken without consent, unclear license usage, biases, and, in some cases, even problematic image content. On the other hand, state-of-the-art pretraining is nowadays obtained with unsupervised methods, meaning that labelled datasets such as ImageNet may not be necessary, or perhaps not even optimal, for model pretraining. We thus propose an unlabelled dataset PASS: Pictures without humAns for Self-Supervision. PASS only contains images with CC-BY license and complete attribution metadata, addressing the copyright issue. Most importantly, it contains no images of people at all, and also avoids other types of images that are problematic for data protection or ethics. We show that PASS can be used for pretraining with methods such as MoCo-v2, SwAV and DINO. In the transfer learning setting, it yields similar downstream performances to ImageNet pretraining even on tasks that involve humans, such as human pose estimation. PASS does not make existing datasets obsolete, as for instance it is insufficient for benchmarking. However, it shows that model pretraining is often possible while using safer data, and it also provides the basis for a more robust evaluation of pretraining methods.

研究动机与目标

• 解决大规模视觉数据集中与人类隐私和同意相关的伦理与法律问题。
• 消除因通过搜索引擎收集图像而引发的人类表征偏差。
• 构建一个可扩展的、未标注的数据集，适用于自监督学习，且避免以人类为中心的内容。
• 为评估自监督学习方法在自然图像分布上的表现，提供更安全、更可靠的基准。
• 证明在不使用人类图像的情况下进行预训练在涉及人类的下游任务中是可行且有效的。

提出的方法

• PASS 通过非基于搜索引擎的方法从 Flickr 随机采样图像构建，以避免选择偏差。
• 通过自动化检测与人工验证，排除所有包含人类、身体部位、车牌、签名及手写文字的图像。
• 所有图像均采用 CC-BY 许可证，并附完整元数据，确保法律合规与来源标注。
• 使用最先进的自监督学习方法（包括 MoCo-v2、SwAV 和 DINO）对数据集进行预训练。
• 通过验证流程确保最终数据集中不包含任何与人类相关的内容。
• 数据集已版本化，并托管于 Zenodo 和 GitHub，提供可下载的代码与元数据。

实验结果

研究问题

• RQ1 一个大规模、未标注且完全不含人类内容的图像数据集，能否有效替代 ImageNet 用于自监督预训练？
• RQ2 去除人类图像在多大程度上可降低模型预训练过程中的伦理与法律风险？
• RQ3 在多种下游任务中，使用 PASS 预训练的模型性能与使用 ImageNet 预训练的模型相比如何？
• RQ4 通过非搜索引擎且无标签方式收集的数据集，是否能比经过人工筛选的、基于标签的数据集带来更好的泛化能力？
• RQ5 缺乏人类内容是否会影响所学习特征的质量，特别是在涉及人类的任务中？

主要发现

• PASS 在迁移学习任务中的表现与使用 ImageNet 预训练的模型相当，即使在涉及人类的任务（如人体姿态估计）中亦如此。
• 使用 MoCo-v2、SwAV 和 DINO 在 PASS 上预训练的模型，在下游基准测试中达到与 ImageNet 预训练模型相当的准确率。
• 该数据集包含 128 万张图像，所有图像均采用 CC-BY 许可证并附带完整元数据，确保法律与伦理合规。
• 经自动化检测与人工验证确认，最终数据集中不包含任何与人类相关的内容。
• 数据集可通过 GitHub 和 Zenodo 获取，同时提供图像下载与元数据访问的代码。
• 数据集已版本化，并将持续更新以移除未来被发现违反无人员标准的图像。