[论文解读] Traceability of Deep Neural Networks

Vincent Aravantinos, Frederik Diehl|arXiv (Cornell University)|Dec 17, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用 10

一句话总结

本文提出了一种针对安全关键系统中深度神经网络（DNNs）的新型可追溯性框架，通过用DNN特定的工件（如领域覆盖模型和决策依据）替代传统的代码和低层级需求，解决了DNN开发过程中试错性过强的问题。该框架通过版本化模型追踪和基于度量的改进，为符合DO178C和ISO 26262等标准提供了务实路径，尽管当前DNN实践尚缺乏形式化可追溯性。

ABSTRACT

[Context.] The success of deep learning makes its usage more and more tempting in safety-critical applications. However such applications have historical standards (e.g., DO178, ISO26262) which typically do not envision the usage of machine learning. We focus in particular on \emph{requirements traceability} of software artifacts, i.e., code modules, functions, or statements (depending on the desired granularity). [Problem.] Both code and requirements are a problem when dealing with deep neural networks: code constituting the network is not comparable to classical code; furthermore, requirements for applications where neural networks are required are typically very hard to specify: even though high-level requirements can be defined, it is very hard to make such requirements concrete enough, that one can qualify them of low-level requirements. An additional problem is that deep learning is in practice very much based on trial-and-error, which makes the final result hard to explain without the previous iterations. [Proposed solution.] We investigate which artifacts could play a similar role to code or low-level requirements in neural network development and propose various traces which one could possibly consider as a replacement for classical notions. We also propose a form of traceability (and new artifacts) in order to deal with the particular trial-and-error development process for deep learning.

研究动机与目标

• 为解决在安全关键应用中深度神经网络（DNNs）缺乏可追溯性的问题，特别是在DO178C和ISO 26262等标准目前不支持机器学习的背景下。
• 识别可用于替代经典软件工件（如代码和低层级需求）的DNN特定工件，以应对DNN开发过程中非确定性、迭代性的特点。
• 提出一种实用的、以工件为中心的可追溯性方法，支持验证与认证，即使在缺乏规定开发流程的情况下亦可实现。
• 通过追踪模型版本和增量性能改进，而非静态代码或架构结构，实现可追溯性。
• 通过识别当前DNN可追溯性方法中的关键开放问题和局限性，为未来工作奠定基础。

提出的方法

• 引入领域覆盖模型，作为低层级需求的替代，将高层级需求映射到训练数据分布和运行场景。
• 提出追踪开发人员在试错训练过程中的决策，记录架构或超参数变更的依据。
• 建议在训练过程中追踪所有模型版本，并同时记录性能度量的增量改进，以建立可追溯的演化路径。
• 采用务实的、以工件为中心的方法，而非规定完整的开发流程，聚焦于可实际追踪的内容。
• 使用度量来量化“更优”的性能，从而实现对训练迭代过程中改进的可追溯性。
• 将范围限制在监督学习、固定数据集和功能需求上，以控制复杂性并聚焦于核心可追溯性挑战。

实验结果

研究问题

• RQ1 鉴于DNN具有非确定性、迭代性开发过程，传统的软件可追溯性概念如何适应DNN？
• RQ2 哪些DNN特定的工件可作为可追溯性中经典代码和低层级需求的替代品？
• RQ3 DNN训练的试错性如何在安全关键认证框架内实现可追溯性和可辩护性？
• RQ4 性能度量和决策依据在建立DNN模型可追溯演化过程中发挥何种作用？
• RQ5 领域覆盖模型如何有效将高层级需求与训练数据及模型行为关联起来？

主要发现

• 领域覆盖模型通过将高层级功能需求映射到数据分布和运行条件，为低层级需求提供了一种可行的替代方案。
• 追踪模型迭代过程中开发人员的决策（如架构或超参数变更）可作为追踪静态代码结构的实用替代方案。
• 通过追踪模型版本和增量度衡量改进，可实现一种反映DNN实际开发过程的可追溯性形式。
• 所提出的方法通过从需求到模型行为的结构化、可审计路径，支持DO178C和ISO 26262等安全标准的合规性。
• 该方法保持轻量化且具备适应性，避免了强制性的流程规定，同时仍能实现可验证的可追溯性。
• 尽管该方法在概念上合理，但论文也承认其在成熟度和清晰度方面存在局限，特别是在缺乏具体度量定义或评估框架的情况下。