[论文解读] Smoke Testing for Machine Learning: Simple Tests to Discover Severe Defects

Steffen Herbold, Tobias von der Haar|arXiv (Cornell University)|Sep 3, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 4

一句话总结

本文提出了一种轻量级、通用的机器学习库烟雾测试方法，通过输入和超参数的等价类分析与边界值分析实现。结果表明，简单的教科书级测试技术能够发现严重且此前未知的缺陷——共发现11个，包括两个关键缺陷——在三个成熟的机器学习库中，证明基础测试方法对现代机器学习系统依然有效且具有适应性。

ABSTRACT

Machine learning is nowadays a standard technique for data analysis within software applications. Software engineers need quality assurance techniques that are suitable for these new kinds of systems. Within this article, we discuss the question whether standard software testing techniques that have been part of textbooks since decades are also useful for the testing of machine learning software. Concretely, we try to determine generic and simple smoke tests that can be used to assert that basic functions can be executed without crashing. We found that we can derive such tests using techniques similar to equivalence classes and boundary value analysis. Moreover, we found that these concepts can also be applied to hyperparameters, to further improve the quality of the smoke tests. Even though our approach is almost trivial, we were able to find bugs in all three machine learning libraries that we tested and severe bugs in two of the three libraries. This demonstrates that common software testing techniques are still valid in the age of machine learning and that considerations how they can be adapted to this new context can help to find and prevent severe bugs, even in mature machine learning libraries.

研究动机与目标

• 探究传统软件测试技术是否仍适用于现代机器学习系统。
• 识别可检测机器学习库严重缺陷的通用、简单烟雾测试，且无需依赖复杂的测试预言机。
• 将等价类分析与边界值分析方法扩展至输入和超参数，以实现更广泛的测试覆盖。
• 评估超参数组合测试策略在实现可扩展且高效的烟雾测试方面的有效性。
• 为机器学习库开发者建立可操作的最佳实践，以在早期阶段预防和检测关键缺陷。

提出的方法

• 应用等价类分析识别潜在问题的输入区域，如极端值、零特征以及空或近空类别。
• 通过将超参数建模为测试条件，并应用边界值与等价类分析技术，将分析扩展至超参数。
• 采用线性复杂度的组合策略，确保每个超参数的等价类仅被覆盖一次，同时将其他超参数保持在默认值。
• 设计一个最小化、可重用的烟雾测试套件，专注于核心机器学习功能：模型训练与预测。
• 将测试套件应用于三个成熟的机器学习库（scikit-learn、Weka、SparkML），以发现真实世界中的缺陷。
• 报告所有发现结果，以确保透明性，并验证所发现缺陷的严重性与可重现性。

实验结果

研究问题

• RQ1 经典软件测试技术（如等价类分析与边界值分析）能否有效适配于机器学习系统？
• RQ2 哪些最小化、通用的输入与超参数配置可作为机器学习库的有效烟雾测试？
• RQ3 如何在保证覆盖关键配置的前提下，使超参数的组合测试具备可扩展性？
• RQ4 此类简单测试在多大程度上能检测到成熟机器学习库中严重且此前未知的缺陷？
• RQ5 可为开发者提炼出哪些最佳实践，以将这些测试集成到机器学习库的开发工作流中？

主要发现

• 作者在三个成熟的机器学习库中发现了11个此前未知的缺陷，其中包括两个被归类为严重缺陷。
• 所有三个库在至少一项提出的烟雾测试中均失败，表明其核心功能存在广泛问题。
• 采用线性增长测试用例的组合测试方法，有效发现了传统单参数或朴素测试方法可能遗漏的缺陷。
• 所提出的烟雾测试套件成功检测到在边界输入下训练与预测函数中的崩溃与错误行为。
• 该方法具有可推广性且在成熟系统中依然有效，表明其在早期阶段的机器学习开发中将极具价值。
• 所有报告的缺陷均获得开发者的认可，其中三个已修复，其余大多数正处于补丁集成的待处理状态。