[论文解读] On the Importance of Domain-specific Explanations in AI-based Cybersecurity Systems (Technical Report)

Jose N. Paredes, Juan Carlos Teze+2 more|arXiv (Cornell University)|Aug 2, 2021

Explainable Artificial Intelligence (XAI)参考文献 35被引用 7

一句话总结

本文提出了网络安全领域可解释人工智能（XAI）的领域特定需求，提出了一种结合符号与非符号AI组件的创新集成架构，并通过对比分析表明，基于网络安全上下文的定制化解释对于有效的人机协作在威胁检测与响应中至关重要。

ABSTRACT

With the availability of large datasets and ever-increasing computing power, there has been a growing use of data-driven artificial intelligence systems, which have shown their potential for successful application in diverse areas. However, many of these systems are not able to provide information about the rationale behind their decisions to their users. Lack of understanding of such decisions can be a major drawback, especially in critical domains such as those related to cybersecurity. In light of this problem, in this paper we make three contributions: (i) proposal and discussion of desiderata for the explanation of outputs generated by AI-based cybersecurity systems; (ii) a comparative analysis of approaches in the literature on Explainable Artificial Intelligence (XAI) under the lens of both our desiderata and further dimensions that are typically used for examining XAI approaches; and (iii) a general architecture that can serve as a roadmap for guiding research efforts towards the development of explainable AI-based cybersecurity systems -- at its core, this roadmap proposes combinations of several research lines in a novel way towards tackling the unique challenges that arise in this context.

研究动机与目标

• 为解决基于人工智能的网络安全系统中可解释性不足的问题，即用户缺乏对决策依据的理解。
• 识别并形式化网络安全场景下高质量、及时且可操作解释的领域特定需求（即需求标准）。
• 提出一个统一的架构框架，整合符号推理、自然语言处理（NLP）、论证推理、本体论以及人机交互（HCI）等多种人工智能研究方向，以生成用户友好且可信的解释。
• 为未来研究与开发提供指导，推动构建支持人机协同决策的可解释网络安全系统。
• 为评估和改进专门针对动态、高风险网络威胁环境独特挑战的XAI方法奠定基础。

提出的方法

• 提出六项XAI在网络安全领域的具体需求标准（D1–D6），包括及时性、以用户为中心、可追溯性以及上下文感知性。
• 设计一种新型系统架构（图3），整合符号推理、非符号AI（如深度学习）以及基于HCI原则的人机协同交互。
• 利用计算论证与本体论推理，生成基于领域语义与逻辑结构的解释。
• 整合自然语言处理（NLP）技术，将技术性AI输出转化为人类可读的解释。
• 结合数据驱动模型（如神经网络）与知识驱动系统，生成兼具准确性与可解释性的增强型解释。
• 采用时间流推理技术，支持动态演化的威胁分析与实时解释生成。

实验结果

研究问题

• RQ1 在支持有效人机决策的基于人工智能的网络安全系统中，高质量解释的本质特征是什么？
• RQ2 现有文献中的XAI方法在多大程度上符合网络安全领域特有的需求，如威胁上下文、紧迫性与精确性？
• RQ3 为实现可解释、交互式且可信的网络安全系统，需要哪些架构组件？
• RQ4 如何整合符号与非符号AI组件，以生成既准确又易于安全分析师理解的解释？
• RQ5 人机交互（HCI）、自然语言处理（NLP）与论证技术在多大程度上可提升网络安全领域AI生成解释的可用性与可信度？

主要发现

• 所提出的D1–D6需求标准为评估与指导网络安全领域可解释人工智能的发展提供了全面框架，强调上下文、及时性与用户需求。
• 对现有XAI方法的对比分析揭示了其在应对网络安全领域特有挑战（如威胁上下文、动态推理与人机交互）方面存在显著不足。
• 所提出的架构成功将符号推理、论证、本体论、NLP与HCI等多种人工智能研究方向整合为一个协调统一的系统，能够生成可解释、交互式且上下文感知的输出。
• 将数据驱动模型与知识驱动系统结合，实现了增强型解释，将模型预测与逻辑论证相结合，提升了透明度与可信度。
• 时间流推理被识别为实现实时解释生成以应对动态演变网络威胁的关键技术。
• 该框架通过支持自然语言查询、验证与结构化反馈机制，促进用户对系统输出的查询、验证与优化，从而实现协同式人机交互。