[论文解读] Trepan Reloaded: A Knowledge-driven Approach to Explaining Artificial Neural Networks

Roberto Confalonieri, Tillman Weyde+2 more|arXiv (Cornell University)|Jun 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 44被引用 19

一句话总结

本文提出 Trepan Reloaded，一种基于知识的 Trepan 算法扩展，通过在决策树提取过程中整合特定领域的本体，提升了人工神经网络全局事后解释的可理解性。该方法在金融和医疗领域提高了用户理解度，同时未显著损害模型保真度或准确性。

ABSTRACT

Explainability in Artificial Intelligence has been revived as a topic of active research by the need of conveying safety and trust to users in the `how' and `why' of automated decision-making. Whilst a plethora of approaches have been developed for post-hoc explainability, only a few focus on how to use domain knowledge, and how this influences the understandability of global explanations from the users' perspective. In this paper, we show how ontologies help the understandability of global post-hoc explanations, presented in the form of symbolic models. In particular, we build on Trepan, an algorithm that explains artificial neural networks by means of decision trees, and we extend it to include ontologies modeling domain knowledge in the process of generating explanations. We present the results of a user study that measures the understandability of decision trees using a syntactic complexity measure, and through time and accuracy of responses as well as reported user confidence and understandability. The user study considers domains where explanations are critical, namely, in finance and medicine. The results show that decision trees generated with our algorithm, taking into account domain knowledge, are more understandable than those generated by standard Trepan without the use of ontologies.

研究动机与目标

• 解决可解释人工智能领域中整合领域知识以提升解释可理解性的空白。
• 探究在决策树生成过程中使用本体是否能增强用户对黑箱模型解释的理解。
• 评估基于本体的解释对用户在高风险领域中的表现、信心及感知可理解性的影响。
• 在提升决策树可解释性的同时，通过语义增强保持其高保真度和准确性。

提出的方法

• 扩展原始 Trepan 算法，通过修改分裂选择逻辑，优先选择与预定义本体中更广泛概念相关的特征，以整合领域知识。
• 利用本体为决策树节点添加语义信息，提升符号化解释的可解释性。
• 应用句法复杂性度量，评估生成决策树的技术可理解性。
• 开展用户研究，对比使用与不使用本体集成生成的决策树，测量响应时间、准确率、信心水平及自我报告的可理解性。
• 聚焦金融和医疗两个高风险领域，因为在这些领域中解释的清晰度对信任和决策至关重要。
• 采用受控实验设计，通过真实用户评估基于本体的解释在认知和感知层面的影响。

实验结果

研究问题

• RQ1 通过本体整合领域知识是否能提升从神经网络生成的全局事后解释的可理解性？
• RQ2 基于本体的特征选择如何影响决策树的句法复杂性和认知负荷？
• RQ3 在多大程度上，使用本体能提升用户在解读模型决策时的准确率、响应时间及自我报告的信心？
• RQ4 基于本体的解释是否能与标准 Trepan 生成的树相比，保持高保真度和准确性？

主要发现

• 与标准 Trepan 生成的决策树相比，Trepan Reloaded 生成的、整合了领域本体的决策树在用户报告的可理解性和信心方面显著更优。
• 当解释中融入基于本体的语义信息时，用户回答问题更快且更准确，表明认知负荷降低。
• 使用本体时，决策树的句法复杂性更低，表明其结构更清晰、更易读。
• 在对原始神经网络的保真度和准确性方面仅造成最小程度的妥协，即实现了可理解性的提升。
• 结果表明，本体整合在不牺牲模型性能的前提下显著提升了解释质量，尤其在医疗和金融等高风险领域表现突出。
• 本研究证实，通过本体结构化的领域知识在塑造更具可解释性和用户友好的解释方面发挥着关键作用。