[论文解读] On the Semantic Interpretability of Artificial Intelligence Models

Vivian Dos Santos Silva, André Freitas+1 more|arXiv (Cornell University)|Jul 9, 2019

Explainable Artificial Intelligence (XAI)参考文献 41被引用 11

一句话总结

本文提出了一种跨学科的框架，用于人工智能模型的语义可解释性，超越机器学习范畴，涵盖分布语义学、模糊逻辑及其他人工智能领域。该框架根据可解释性集成方式对模型进行分类——透明型与事后型，并主张采用以用户为中心的可解释性层级，以在保持性能的同时，为各类用户提供可解释、可操作的洞察。

ABSTRACT

Artificial Intelligence models are becoming increasingly more powerful and accurate, supporting or even replacing humans' decision making. But with increased power and accuracy also comes higher complexity, making it hard for users to understand how the model works and what the reasons behind its predictions are. Humans must explain and justify their decisions, and so do the AI models supporting them in this process, making semantic interpretability an emerging field of study. In this work, we look at interpretability from a broader point of view, going beyond the machine learning scope and covering different AI fields such as distributional semantics and fuzzy logic, among others. We examine and classify the models according to their nature and also based on how they introduce interpretability features, analyzing how each approach affects the final users and pointing to gaps that still need to be addressed to provide more human-centered interpretability solutions.

研究动机与目标

• 解决在医疗、金融和刑事司法等高风险决策场景中对可解释人工智能日益增长的需求。
• 不仅在机器学习中，而且在更广泛的人工智能领域（包括分布语义学和模糊逻辑）中，考察可解释性。
• 根据可解释性如何嵌入模型——无论是内在的（透明型）还是通过事后方法——对人工智能模型进行分类，并评估其对终端用户的影响。
• 识别当前可解释性方法中的缺口，特别是关于可用性、公平性以及在现实工作流程中集成的问题。
• 倡导从仅关注准确率的模型开发，转向以人为本的设计，以支持合理性说明、偏差检测和用户信任。

提出的方法

• 对人工智能各学科中的可解释性进行跨领域分析，涵盖神经网络、模糊逻辑、基于规则的系统以及分布语义学。
• 根据可解释性集成方式，将模型分类为透明型（内在可解释）和事后型（推理后添加解释）两类。
• 通过以用户为中心的视角评估可解释性，分析解释如何影响用户工作量、决策过程和信任度。
• 提出可解释性层级作为低风险、渐进式的升级方式，可附加于现有模型之上，而无需改变其预测结果。
• 分析不同可解释性方法（如文本解释、视觉高亮、图表）如何支持不同用户角色（如医生、信贷分析师）。
• 研究模型准确率与可解释性之间的权衡，主张采用在保持性能的同时增强透明度的方法。

实验结果

研究问题

• RQ1 如何在机器学习之外的多样化人工智能领域（如分布语义学和模糊逻辑）中，有意义地定义并实现可解释性？
• RQ2 透明模型与事后解释方法在用户影响方面有何差异？哪种方法更适合非技术用户？
• RQ3 可解释性层级如何在不改变预测结果或性能的前提下，实现对已部署人工智能系统的安全、渐进式升级？
• RQ4 可解释模型在哪些方面有助于检测和缓解训练数据中嵌入的社会偏见，特别是在高风险应用场景中？
• RQ5 在设计用户友好、可操作的解释时，面临哪些关键挑战？如何确保解释支持决策而非增加认知负担？

主要发现

• 事后解释（如文本理由说明或视觉注意力图）比低层次的模型内部观察更适用于非开发人员用户，如医生或信贷分析师。
• 谷歌相册事件（黑人个体被错误标记为大猩猩）表明，缺乏可解释性会阻碍对模型故障的及时发现与纠正。
• 即使准确率很高的模型也可能放大社会偏见——例如，基于性别偏见数据训练的模型，将活动预测中的性别差异从33%提高到68%。
• 可解释性层级为在不重新训练或替换现有模型的前提下提升透明度提供了切实可行的路径，使关键系统能够实现低风险部署。
• 透明模型（如决策列表、模糊逻辑）本身具有更高的可解释性，但仍可通过解释层级抽象复杂的形式化逻辑，以适应终端用户的需求。
• 目前在以用户为中心的可解释性解决方案方面仍存在显著缺口，特别是在将解释无缝集成到用户工作流程中，而不增加认知负担方面。