[论文解读] Practical Machine Learning Safety: A Survey and Primer

Sina Mohseni, Haotao Wang+4 more|arXiv (Cornell University)|Jun 9, 2021

Adversarial Robustness in Machine Learning参考文献 289被引用 9

一句话总结

本文综述并系统化整理了提升现实世界机器学习应用安全性与可靠性的实用机器学习技术，尤其针对自动驾驶等安全关键系统。文章将最先进方法映射到安全策略，解决可解释性、对抗鲁棒性及分布偏移等漏洞，并识别出当前研究中的关键空白以及提升机器学习可靠性的有前景解决方案。

ABSTRACT

The open-world deployment of Machine Learning (ML) algorithms in safety-critical applications such as autonomous vehicles needs to address a variety of ML vulnerabilities such as interpretability, verifiability, and performance limitations. Research explores different approaches to improve ML dependability by proposing new models and training techniques to reduce generalization error, achieve domain adaptation, and detect outlier examples and adversarial attacks. In this paper, we review and organize practical ML techniques that can improve the safety and dependability of ML algorithms and therefore ML-based software. Our organization maps state-of-the-art ML techniques to safety strategies in order to enhance the dependability of the ML algorithm from different aspects, and discuss research gaps as well as promising solutions.

研究动机与目标

• 识别并组织可提升现实世界机器学习部署中安全性和可靠性的实用机器学习技术。
• 将最先进机器学习方法映射到具体安全策略，以缓解对抗攻击和分布偏移等漏洞。
• 分析当前机器学习安全研究中的空白，并提出未来工作的有前景方向。
• 支持在安全关键领域中开发更可靠、可验证和鲁棒的基于机器学习的软件。

提出的方法

• 系统性回顾聚焦于提升模型可靠性、可解释性与鲁棒性的现有机器学习技术。
• 根据安全策略（如对抗训练、不确定性估计和域适应）对技术进行分类。
• 将具体机器学习方法（如蒙特卡洛丢弃和分布学习模型）映射到安全关键需求（如异常值检测与性能验证）。
• 评估技术在降低泛化误差以及在分布偏移下改善模型行为方面的能力。
• 识别当前方法中的不足，尤其在形式化验证、可解释性以及实时部署约束方面。

实验结果

研究问题

• RQ1 哪些机器学习技术在提升模型对对抗样本和分布偏移的鲁棒性方面最有效？
• RQ2 如何在已部署的机器学习系统中增强可解释性与可验证性，以支持安全认证？
• RQ3 当前机器学习安全技术在真实世界开放环境中的关键局限性是什么？
• RQ4 哪些新兴方法在填补已识别的机器学习可靠性研究空白方面最具前景？

主要发现

• 不确定性估计与对抗训练的结合显著提升了模型在分布偏移下的鲁棒性。
• 如蒙特卡洛丢弃和分布学习等技术，增强了安全关键场景中模型的可解释性与可靠性。
• 当前方法在高风险应用中的形式化验证与实时性能保障方面仍面临挑战。
• 域适应与异常值检测技术潜力巨大，但在开放世界场景中仍需进一步验证。