[论文解读] Towards Testing of Deep Learning Systems with Training Set Reduction

Helge Spieker, Arnaud Gotlieb|arXiv (Cornell University)|Jan 14, 2019

Software Testing and Debugging Techniques参考文献 18被引用 8

一句话总结

本文提出训练集缩减（TSR）技术——基于距离、基于损失和随机选择——以加速深度学习模型在持续集成测试中的训练。结果表明，系统性方法（基于距离和基于损失）仅使用原始CIFAR-10数据的10–50%即可紧密模拟完整训练的损失曲线，显著缩短运行时间，同时保持训练行为的保真度。

ABSTRACT

Testing the implementation of deep learning systems and their training routines is crucial to maintain a reliable code base. Modern software development employs processes, such as Continuous Integration, in which changes to the software are frequently integrated and tested. However, testing the training routines requires running them and fully training a deep learning model can be resource-intensive, when using the full data set. Using only a subset of the training data can improve test run time, but can also reduce its effectiveness. We evaluate different ways for training set reduction and their ability to mimic the characteristics of model training with the original full data set. Our results underline the usefulness of training set reduction, especially in resource-constrained environments.

研究动机与目标

• 为解决深度学习系统在持续集成（CI）中完整训练运行带来的高计算成本问题。
• 评估缩减后的训练集是否能够保留完整模型的训练行为，特别是损失曲线动态特性。
• 比较三种训练集缩减策略的有效性：基于距离、基于损失和随机选择。
• 确定系统性缩减方法是否能够在不牺牲与完整训练行为保真度的前提下，实现更快、更可靠的测试。
• 通过支持资源受限的测试环境，实现具有代表性且轻量级的训练运行。

提出的方法

• 应用k-means聚类从输入空间中选择多样化、具有代表性的样本，用于基于距离的缩减。
• 利用初始模型预测结果识别高损失样本，用于基于损失的缩减，重点关注难以学习的实例。
• 采用随机采样作为基线进行比较，该方法在实践中被广泛使用。
• 在缩减版和完整版CIFAR-10数据集上训练两种深度神经网络——SimpleCNN和ResNet，以比较训练动态。
• 使用归一化均方根误差（NRMSE）衡量缩减版与完整版训练损失曲线之间的相似性。
• 所有实验重复40次，以减轻随机初始化和采样带来的随机性影响。

实验结果

研究问题

• RQ1 训练集缩减技术能否保留深度学习模型的训练行为，特别是损失曲线演变过程？
• RQ2 基于距离、基于损失和随机训练集缩减策略在模拟完整训练损失曲线方面如何比较？
• RQ3 缩减训练集的最小尺寸是多少，才能使缩减集与完整训练过程保持足够的相似性？
• RQ4 训练集缩减的效果是否因不同的神经网络架构而异？
• RQ5 系统性缩减策略（基于距离和基于损失）是否能在保持训练保真度方面优于随机采样？

主要发现

• 基于距离和基于损失的训练集缩减策略所产生的损失曲线，与完整训练集相比显著更相似，尤其在数据量较小时表现更优。
• 仅使用原始CIFAR-10训练数据的10%时，两种系统性方法在ResNet上的验证损失曲线NRMSE值均低于0.03，表明保真度极高。
• 在70%数据量下，基于损失的方法在ResNet上表现最强，验证损失曲线的NRMSE值低至0.003，优于基于距离的方法和随机采样。
• 即使在50%数据量下，系统性方法在两种架构上的损失曲线NRMSE值均低于0.02，表明与完整训练具有极强的相似性。
• 随机采样始终产生更高的NRMSE值，表明在所有数据量和模型下，其对完整训练行为的模拟效果较差。
• 本研究证实，系统性训练集缩减是一种可行且高效的加速深度学习CI测试的方法。