[论文解读] Torch.manual_seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision

David Picard|arXiv (Cornell University)|Sep 16, 2021

Advanced Neural Network Applications被引用 39

一句话总结

本论文研究随机种子如何影响CV模型的准确性，显示种子引发的方差可能相当大，即使在大数据集和预训练模型下也如此，并呼吁在发表工作中报告随机性。

ABSTRACT

In this paper I investigate the effect of random seed selection on the accuracy when using popular deep learning architectures for computer vision. I scan a large amount of seeds (up to $10^4$) on CIFAR 10 and I also scan fewer seeds on Imagenet using pre-trained models to investigate large scale datasets. The conclusions are that even if the variance is not very large, it is surprisingly easy to find an outlier that performs much better or much worse than the average.

研究动机与目标

• 在 CIFAR-10 和 ImageNet 实验中评估模型准确率在随机种子下的分布。
• 识别存在性及大小的种子引发的异常（黑天鹅）表现。
• 评估在更大的数据集上的预训练是否能缓解 CV 模型的种子引起的变异性。
• 就关于结果报告中的随机性提供稳健实验做法的指导。

提出的方法

• 在 CIFAR-10 上用 500 个种子进行长时训练的 ResNet9 和 10,000 个种子（短时训练）来评估收敛稳定性和种子变异性。
• 在 ImageNet 上使用 ResNet50（有监督学习和 SSL）和 SSL ViT 的预训练模型，设定每组 50 个种子，评估最终准确率的变动。
• 使用带动量的 SGD 和权重衰减；应用余弦退火；比较最终收敛统计量（均值、方差、最小、最大）。
• 公开分享代码和结果以实现可重复性（GitHub: deepseed）。
• 将实验约束在约 1000 GPU 小时的预算内，以模拟实际研究设置。

实验结果

研究问题

• RQ1 收敛后不同种子下的准确率分布是什么？
• RQ2 是否存在能显著提高或降低性能的种子配置（黑天鹅）？
• RQ3 在 ImageNet 的下游微调中，使用更大数据集的预训练是否会降低种子引起的变异性？

主要发现

• 在 CIFAR-10 的长时训练中，最终准确率分布集中在均值附近，变异很小（均值 90.70，std 0.20，最小 90.14，最大 91.41）。
• 在 CIFAR-10 上进行 10,000 个种子（短时训练）时，最大最小差距为 1.82 个百分点（89.01% 到 90.83%），表明种子可产生实质不同的结果。
• 在 ImageNet 使用预训练模型时，种子引起的变异性较小（std ~0.1%），但仍然存在（最小到最大差距 ~0.5%），表明即使在大规模预训练下种子也可能影响结果。
• 即使从预训练权重开始，种子变异仍然存在，因此更大的数据集或预训练可以降低但不能消除随机性。
• 该研究认为，许多近期的 CV 结果可能因隐含的种子搜索而被高估，建议报告跨多个种子的均值、标准差、最小值和最大值。