[论文解读] On the Multiple Roles of Ontologies in Explainable AI

Roberto Confalonieri, Giancarlo Guizzardi|arXiv (Cornell University)|Nov 8, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出本体在可解释人工智能中发挥三种关键作用：通过参考建模实现一致的解释，通过语义增强支持常识推理，以及通过管理知识复杂性实现个性化、以人为本的解释。通过将本体与人工智能系统集成，该方法增强了解释的透明度、互操作性和用户可理解性，尽管在评估和集成方面仍存在挑战。

ABSTRACT

This paper discusses the different roles that explicit knowledge, in particular ontologies, can play in Explainable AI and in the development of human-centric explainable systems and intelligible explanations. We consider three main perspectives in which ontologies can contribute significantly, namely reference modelling, common-sense reasoning, and knowledge refinement and complexity management. We overview some of the existing approaches in the literature, and we position them according to these three proposed perspectives. The paper concludes by discussing what challenges still need to be addressed to enable ontology-based approaches to explanation and to evaluate their human-understandability and effectiveness.

研究动机与目标

• 识别并分析本体在推进以人为本的可解释人工智能系统中所扮演的多重角色。
• 解决当前XAI方法过于聚焦机制性解释而忽视因果和上下文推理的不足。
• 将现有XAI技术置于三个概念视角下：参考建模、常识推理和知识精炼。
• 强调本体在实现基于正式知识的可解释、可追溯和个性化解释中的必要性。
• 识别评估基于本体的解释在人类可理解性和有效性方面的开放性挑战。

提出的方法

• 将现有XAI方法划分为三个视角：参考建模、常识推理和知识精炼/复杂性管理。
• 使用形式化本体定义共享概念模型，作为解释生成的通用语言。
• 将本体与符号化和神经符号AI系统集成，以支持混合推理和解释扩展。
• 利用对倾向性、因果性和基于价值的推理的本体表示，支持因果和反事实解释。
• 在本体上应用逻辑推理，生成具有溯源性和语义一致性的解释。
• 提出一种通过用户中心指标和心理测量评估来评估解释质量的框架。

实验结果

研究问题

• RQ1 本体如何作为正式参考模型，以标准化并提升XAI中解释的一致性和可重用性？
• RQ2 本体在何种方式下可增强常识推理，并支持AI系统中的因果或反事实解释？
• RQ3 本体如何管理知识复杂性，以实现个性化、用户适配的解释？
• RQ4 评估基于本体的解释在人类可理解性和有效性方面面临哪些关键挑战？
• RQ5 如何将基础本体和领域本体集成到现有XAI流程中，以提升透明度和信任度？

主要发现

• 本体提供了一种正式的、共享的参考模型，增强了不同领域和系统之间解释的互操作性和可重用性。
• 通过支持在结构化知识上的逻辑推理，本体促进了语义丰富、上下文感知的解释生成，超越了黑箱模型行为。
• 本体与AI模型的集成支持混合推理，提升了决策的透明度和可追溯性。
• 本体促进了因果关系和基于价值的推理建模，使解释建立在伦理和领域特定原则之上。
• 尽管潜力巨大，当前方法在评估基于本体的解释在人类可理解性和因果有效性方面仍缺乏共识。
• 将基础本体和领域本体集成到XAI系统中仍面临关键挑战，且需确保最终用户能够管理并理解解释。