[论文解读] White Paper Machine Learning in Certified Systems

Hervé Delseny, Christophe Gabreau+26 more|arXiv (Cornell University)|Mar 18, 2021

Adversarial Robustness in Machine Learning参考文献 118被引用 17

一句话总结

本白皮书通过识别与可靠性、验证和认证相关的关键挑战，研究了将机器学习（ML）集成到经认证系统中——特别是在航空等安全关键领域——的可行性。本文提出了定制化的机器学习技术、工程实践和认证框架，以克服这些障碍，证明当辅以严格的方法论和工具支持时，ML 可安全嵌入经认证系统中。

ABSTRACT

Machine Learning (ML) seems to be one of the most promising solution to automate partially or completely some of the complex tasks currently realized by humans, such as driving vehicles, recognizing voice, etc. It is also an opportunity to implement and embed new capabilities out of the reach of classical implementation techniques. However, ML techniques introduce new potential risks. Therefore, they have only been applied in systems where their benefits are considered worth the increase of risk. In practice, ML techniques raise multiple challenges that could prevent their use in systems submitted to certification constraints. But what are the actual challenges? Can they be overcome by selecting appropriate ML techniques, or by adopting new engineering or certification practices? These are some of the questions addressed by the ML Certification 3 Workgroup (WG) set-up by the Institut de Recherche Technologique Saint Exupéry de Toulouse (IRT), as part of the DEEL Project.

研究动机与目标

• 识别阻碍机器学习在经认证系统中应用的核心挑战，特别是在航空等安全关键领域。
• 评估通过适当选择机器学习技术、工程实践或认证程序，是否可以缓解这些挑战。
• 为纳入正式认证流程的系统提供一个全面的框架与建议。
• 通过结构化研究与协作，支持 DEEL 项目在受监管环境中实现可信且可认证人工智能的目标。

提出的方法

• 系统分析现有机器学习技术，基于可解释性、可验证性和可复现性，评估其在安全关键认证中的适用性。
• 定义一套专为经认证系统中机器学习开发量身定制的工程实践，包括数据管理、模型验证和测试流程。
• 提出一条与监管标准（如航空领域的 DO-178C）对齐的机器学习生命周期活动认证路径。
• 提出一个机器学习风险及其缓解策略的分类体系，重点关注鲁棒性、公平性和可解释性。
• 与产业界和监管机构利益相关方协作，确保技术建议与实际认证需求保持一致。
• 通过案例研究和专家共识，验证所提框架在不同应用领域中的有效性。

实验结果

研究问题

• RQ1 在安全关键环境中，阻碍机器学习系统认证的主要技术和监管挑战是什么？
• RQ2 哪些机器学习技术因其可解释性、确定性和可验证性而最易于认证？
• RQ3 工程实践应如何调整，以确保机器学习组件在整个生命周期中的可靠性和可追溯性？
• RQ4 为适应基于机器学习的系统，现有认证标准需要进行哪些修改？
• RQ5 能否建立一个结构化框架，以在保持安全性和合规性的前提下，支持机器学习组件的认证？

主要发现

• 当前许多机器学习技术，尤其是深度学习，由于缺乏透明度和确定性，给认证带来显著挑战。
• 更简单、更具可解释性的模型，如决策树、线性模型和符号系统，与认证要求的兼容性更高。
• 在严格的数据管理、模型验证和测试协议支持下，将机器学习集成到经认证系统中是可行的。
• 认证机构可通过扩展现有标准（如 DO-178C）以纳入机器学习特定的开发和验证活动，实现对这些标准的适应。
• 在训练、验证和部署阶段之间建立清晰的分离，对于确保经认证系统中的可重复性和可审计性至关重要。
• 产业界、监管机构与研究人员之间的利益相关方协作，对于建立机器学习组件的可行认证路径至关重要。