[论文解读] Semantic XAI for contextualized demand forecasting explanations

Jože M. Rožanec, Dunja Mladenić|arXiv (Cornell University)|Apr 1, 2021

Semantic Web and Ontologies参考文献 37被引用 4

一句话总结

本文提出了一种语义XAI架构，通过知识图谱整合领域知识、媒体事件和外部数据集，增强需求预测的解释能力。该架构无需暴露模型内部细节，即可提供可操作的、上下文感知的解释，媒体事件相关性平均精确率达97%，外部数据集推荐准确率达56%。

ABSTRACT

The paper proposes a novel architecture for explainable AI based on semantic technologies and AI. We tailor the architecture for the domain of demand forecasting and validate it on a real-world case study. The provided explanations combine concepts describing features relevant to a particular forecast, related media events, and metadata regarding external datasets of interest. The knowledge graph provides concepts that convey feature information at a higher abstraction level. By using them, explanations do not expose sensitive details regarding the demand forecasting models. The explanations also emphasize actionable dimensions where suitable. We link domain knowledge, forecasted values, and forecast explanations in a Knowledge Graph. The ontology and dataset we developed for this use case are publicly available for further research.

研究动机与目标

• 解决工业需求预测中对可解释、上下文丰富的解释的需求，以支持明智决策。
• 通过提供局部的、特征级别的解释，克服黑箱AI模型的局限性，避免暴露敏感的模型细节。
• 将现实世界的上下文线索（如媒体事件和外部数据集）整合到预测解释中，以提升决策支持能力。
• 开发一个可重用的、公开可用的知识图谱和数据集，推动可解释需求预测研究的发展。
• 使用户能够识别可操作的影响因素和数据增强机会，以提高未来预测的准确性。

提出的方法

• 设计一种模块化的XAI架构，结合语义技术与AI模型，为需求预测生成解释。
• 构建统一本体以表示领域知识，包括特征、事件和外部数据集，支持语义接近度检测。
• 实现媒体事件检索系统，将驱动预测的特征与相关新闻文章关联，并提取关键词以评估上下文相关性。
• 利用知识图谱推理，基于与预测特征的语义对齐，推荐可提升预测模型的外部数据集。
• 应用基于嵌入的相似性度量方法，对媒体事件和数据集元数据进行排序，以纳入解释内容。
• 人工标注528个媒体事件、401个数据集条目和168个预测解释，以评估解释的质量与相关性。

实验结果

研究问题

• RQ1 如何利用语义技术生成上下文感知、可操作的AI驱动需求预测解释？
• RQ2 检索到的媒体事件和外部数据集在多大程度上提升了预测解释的可解释性与实用性？
• RQ3 基于知识图谱的方法能否在不暴露模型内部细节的前提下，有效将预测特征与相关现实事件和数据源关联？
• RQ4 推荐的外部数据集和媒体事件在支持预测理解与改进方面，其准确性和相关性如何？
• RQ5 整合语义上下文（如新闻、事件）对需求预测解释的质量和可信度有何影响？

主要发现

• 系统在媒体事件相关性上的平均精确率@3达到97%，表明其在识别与预测上下文相关的新闻方面具有高准确性。
• 69%的检索媒体事件被判断为对特定预测特征具有解释意义，表明其具有较强的上下文一致性。
• 在401个外部数据集元数据条目中，64%被认定与预测上下文相关，支持数据增强机会。
• 外部数据集推荐系统的准确率达到56%，RDE（相关度估计）为0.41，表明其具有中等但有意义的相关性。
• 媒体事件关键词的平均精确率@3达到78%，表明其在解释目的下能有效总结新闻内容的语义。
• 标注过程中涌现出显著洞察，例如臭氧污染数据与汽车需求的相关性，以及无线充电新闻与电动汽车市场趋势的相关性，验证了上下文推理的有效性。