[论文解读] Using Machine Learning Safely in Automotive Software: An Assessment and Adaption of Software Process Requirements in ISO 26262

Rick Salay, Krzysztof Czarnecki|arXiv (Cornell University)|Aug 5, 2018

Adversarial Robustness in Machine Learning参考文献 73被引用 38

一句话总结

本文评估并调整了ISO 26262针对自动驾驶辅助系统（ADAS）和自动驾驶中监督学习的软件过程要求。它识别出该标准在适用于机器学习（ML）时的适用性缺陷，并提出了新的、量身定制的要求，以确保安全性、可追溯性和验证性，为将机器学习整合到安全关键型汽车软件开发中提供实用框架。

ABSTRACT

The use of machine learning (ML) is on the rise in many sectors of software development, and automotive software development is no different. In particular, Advanced Driver Assistance Systems (ADAS) and Automated Driving Systems (ADS) are two areas where ML plays a significant role. In automotive development, safety is a critical objective, and the emergence of standards such as ISO 26262 has helped focus industry practices to address safety in a systematic and consistent way. Unfortunately, these standards were not designed to accommodate technologies such as ML or the type of functionality that is provided by an ADS and this has created a conflict between the need to innovate and the need to improve safety. In this report, we take steps to address this conflict by doing a detailed assessment and adaption of ISO 26262 for ML, specifically in the context of supervised learning. First we analyze the key factors that are the source of the conflict. Then we assess each software development process requirement (Part 6 of ISO 26262) for applicability to ML. Where there are gaps, we propose new requirements to address the gaps. Finally we discuss the application of this adapted and extended variant of Part 6 to ML development scenarios.

研究动机与目标

• 解决基于机器学习的汽车系统创新与安全合规需求之间的日益增长的矛盾。
• 识别现有ISO 26262软件过程要求与机器学习开发实践之间的不兼容性。
• 评估ISO 26262第6部分中的每项要求在面向汽车场景的监督学习中的适用性。
• 提出新的、有针对性的软件过程要求，以填补在安全性、验证性和可追溯性方面识别出的空白。
• 提供一个实用的、扩展版的ISO 26262第6部分，专门针对安全关键型汽车应用中的机器学习开发。

提出的方法

• 详细分析导致机器学习与ISO 26262之间产生冲突的关键因素，包括非确定性、数据依赖性以及缺乏正式规范。
• 系统性地评估ISO 26262第6部分中每一项软件过程要求在监督学习工作流中的适用性。
• 识别出当前标准未涵盖机器学习特定挑战（例如模型训练、数据漂移、黑箱行为）的具体空白。
• 提出聚焦于数据管理、模型验证、从数据到决策的可追溯性以及持续验证的新要求。
• 将所提出的各项要求整合成一个连贯的、扩展版的ISO 26262第6部分，专门适用于汽车系统中的机器学习。
• 通过ADAS和自动驾驶中的具体场景，说明所适应框架的应用。

实验结果

研究问题

• RQ1 ISO 26262第6部分的哪些具体方面对于确保基于机器学习的汽车软件安全性不适用或不充分？
• RQ2 如何调整ISO 26262中的软件过程要求，以应对安全关键系统中监督学习的独特挑战？
• RQ3 为确保汽车应用中机器学习模型的可追溯性、验证和确认，需要哪些新的过程要求？
• RQ4 所适应的框架如何在现实世界的ADAS和自动驾驶开发场景中实际应用？
• RQ5 机器学习引入了哪些关键的安全关键风险，而当前ISO 26262实践未能充分缓解？

主要发现

• ISO 26262第6部分在应对监督学习模型的非确定性、数据依赖性和黑箱特性方面存在显著空白。
• 关键缺失要素包括正式的数据质量控制程序、模型泛化性测试以及从训练数据到推理决策的端到端可追溯性。
• 作者提出了针对数据血缘、模型版本控制和持续验证的新要求，以增强安全性与合规性。
• 所适应的框架能够在保持与ISO 26262安全目标一致的前提下，实现机器学习在安全关键型汽车开发中的系统性集成。
• 所提出的扩展版本在真实世界的ADAS和自动驾驶用例中得到验证，为监管和工业采纳提供了可行路径。
• 本研究确立了：若施加增强的过程控制，特别是数据和模型生命周期管理方面的控制，机器学习可被安全地集成到汽车软件中。