[论文解读] Perturbation Validation: A New Heuristic to Validate Machine Learning Models

Jie M. Zhang, Mark Harman+3 more|arXiv (Cornell University)|May 24, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用 4

一句话总结

本文提出了一种名为扰动验证（Perturbation Validation, PV）的新启发式方法，通过测量训练标签被扰动后训练准确率的下降程度来评估机器学习模型的拟合程度，而无需依赖测试数据。PV在检测模型拟合质量方面优于传统方法，并解释了高容量模型泛化能力中的悖论。

ABSTRACT

This paper introduces Perturbation Validation (PV), a new heuristic to validate machine learning models. PV does not rely on test data. Instead, it perturbs training data labels, re-trains the model against the perturbed data, then uses the consequent training accuracy decrease rate to assess model fit. PV also differs from traditional statistical approaches, which make judgements without considering label distribution. We evaluate PV on 10 real-world datasets and 6 synthetic datasets. Our results demonstrate that PV is more discriminating about model fit than existing validation approaches and it accords well with widely-held intuitions concerning the properties of a good model fit measurement. We also show that PV complements existing validation approaches, allowing us to give explanations for some of the issues present in the recently-debated apparent paradox that high capacity (potentially overfitted) models may, nevertheless, exhibit good generalisation ability.

研究动机与目标

• 开发一种不依赖测试数据的模型拟合评估方法。
• 解决传统统计验证方法忽略标签分布的局限性。
• 提出一种更符合模型拟合质量直观预期的启发式方法。
• 解释高容量模型尽管可能存在过拟合，却仍能良好泛化的现象。

提出的方法

• 对训练数据中的标签进行扰动，以模拟标签错误。
• 在扰动后的训练数据上重新训练模型。
• 将训练准确率的下降速率作为模型拟合程度的度量指标。
• 利用训练准确率对标签扰动的敏感性作为模型鲁棒性与拟合程度的指示器。
• 在不同模型和数据集之间比较准确率下降速率。
• 将PV与现有验证技术结合，以增强可解释性并检测模型问题。

实验结果

研究问题

• RQ1 PV在检测模型拟合程度方面与现有验证方法相比表现如何？
• RQ2 PV的性能是否依赖于标签分布，而传统方法则不依赖？
• RQ3 PV能否解释高容量模型中泛化能力的悖论？
• RQ4 PV如何与既有的验证技术互补？

主要发现

• PV在10个真实世界数据集和6个合成数据集上均表现出更优的判别能力，可有效评估模型拟合程度。
• 该方法与广泛认可的关于良好模型拟合度量标准的直观认知高度一致。
• PV成功解释了高容量模型尽管可能存在过拟合，却仍能良好泛化的表面悖论。
• 在标签扰动下准确率的下降速率可作为模型鲁棒性与拟合质量的可靠指标。
• PV被发现与现有验证方法具有互补性，可增强其可解释性。