[论文解读] Open Problems in Engineering and Quality Assurance of Safety Critical Machine Learning Systems

Hiroshi Kuwajima, Hirotoshi Yasuoka+1 more|arXiv (Cornell University)|Dec 7, 2018

Safety Systems Engineering in Autonomy参考文献 5被引用 5

一句话总结

本文以自动驾驶为主要案例，识别、分类并组织了安全关键型机器学习系统在工程与质量保证领域中的开放性问题。它提出了一种跨学科框架，整合了汽车工程、软件工程、统计学和机器学习的洞见，以弥补在验证、测试和机器学习驱动的安全系统可靠性方面的系统性缺口，旨在为未来保障框架建立基础性标准。

ABSTRACT

Fatal accidents are a major issue hindering the wide acceptance of safety-critical systems using machine-learning and deep-learning models, such as automated-driving vehicles. Quality assurance frameworks are required for such machine learning systems, but there are no widely accepted and established quality-assurance concepts and techniques. At the same time, open problems and the relevant technical fields are not organized. To establish standard quality assurance frameworks, it is necessary to visualize and organize these open problems in an interdisciplinary way, so that the experts from many different technical fields may discuss these problems in depth and develop solutions. In the present study, we identify, classify, and explore the open problems in quality assurance of safety-critical machine-learning systems, and their relevant corresponding industry and technological trends, using automated-driving vehicles as an example. Our results show that addressing these open problems requires incorporating knowledge from several different technological and industrial fields, including the automobile industry, statistics, software engineering, and machine learning.

研究动机与目标

• 识别并系统化安全关键型机器学习系统工程与质量保证中的开放性问题。
• 解决ML驱动的安全系统缺乏既定质量保证概念与技术的问题，特别是在自动驾驶等高风险领域。
• 通过在统一框架中组织开放性问题，弥合汽车工程、软件工程、机器学习与统计学之间的差距。
• 通过可视化和分类ML系统可靠性与安全性的挑战，促进更深层次的跨学科协作。

提出的方法

• 作者以自动驾驶为案例研究，对安全关键型机器学习系统进行了系统性分析。
• 他们在多个领域识别并分类了开放性问题，包括模型鲁棒性、测试、验证以及系统级安全。
• 该框架整合了软件工程、统计学、机器学习以及汽车工业实践的洞见。
• 问题按系统生命周期、故障模式和保障需求等维度进行分类。
• 该方法通过将技术挑战映射到相关领域与趋势，强调跨学科协作。
• 本文使用结构化分类法可视化开放性问题，以支持有针对性的研究与开发。

实验结果

研究问题

• RQ1 在安全关键型机器学习系统工程与质量保证中，关键的开放性问题是什么？
• RQ2 如何整合来自汽车工程、软件工程、统计学和机器学习的跨学科知识，以解决这些问题？
• RQ3 当前ML驱动的安全系统验证与测试方法论中，主要存在哪些差距？
• RQ4 如何为安全关键型ML系统开发统一的质量保证框架？
• RQ5 哪些技术与工业趋势最有助于解决这些开放性问题？

主要发现

• 本文识别出安全关键型机器学习系统在质量保证方面存在显著缺乏标准化概念与技术，尤其是在自动驾驶领域。
• 开放性问题跨越多个领域，包括模型鲁棒性、故障检测、测试覆盖率以及系统级验证。
• 解决这些挑战需要整合软件工程、统计学、机器学习与汽车系统工程的知识。
• 缺乏既定框架阻碍了ML系统在安全关键应用中的可靠部署。
• 所提出的分类法有助于跨学科更清晰地沟通与协作，以应对系统性保障挑战。
• 本研究强调，单一学科无法独立解决这些问题，必须推动跨领域研究与标准化工作。