[论文解读] Tell Me a Story! Narrative-Driven XAI with Large Language Models

David Martens, James Hinns+3 more|arXiv (Cornell University)|Sep 29, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了 XAIstories，一种基于叙事的可解释人工智能（XAI）方法，利用大语言模型（LLMs）将 SHAP 和反事实（CF）解释转化为人类友好的自然语言解释。结果表明，超过 90% 的普通用户认为 SHAPstories 具有说服力，而 CFstories 在生成速度（快 10 倍）和准确性（提升 20% 以上）方面优于人工编写的叙述，为解决人工智能系统中的可解释性差距提供了有力方案。

ABSTRACT

In many AI applications today, the predominance of black-box machine learning models, due to their typically higher accuracy, amplifies the need for Explainable AI (XAI). Existing XAI approaches, such as the widely used SHAP values or counterfactual (CF) explanations, are arguably often too technical for users to understand and act upon. To enhance comprehension of explanations of AI decisions and the overall user experience, we introduce XAIstories, which leverage Large Language Models to provide narratives about how AI predictions are made: SHAPstories do so based on SHAP explanations, while CFstories do so for CF explanations. We study the impact of our approach on users' experience and understanding of AI predictions. Our results are striking: over 90% of the surveyed general audience finds the narratives generated by SHAPstories convincing. Data scientists primarily see the value of SHAPstories in communicating explanations to a general audience, with 83% of data scientists indicating they are likely to use SHAPstories for this purpose. In an image classification setting, CFstories are considered more or equally convincing as the users' own crafted stories by more than 75% of the participants. CFstories additionally bring a tenfold speed gain in creating a narrative. We also find that SHAPstories help users to more accurately summarize and understand AI decisions, in a credit scoring setting we test, correctly answering comprehension questions significantly more often than they do when only SHAP values are provided. The results thereby suggest that XAIstories may significantly help explaining and understanding AI predictions, ultimately supporting better decision-making in various applications.

研究动机与目标

• 为复杂人工智能模型提供人类友好且连贯的解释，特别是在可解释性至关重要的关键领域。
• 通过将 SHAP 和反事实解释转化为自然语言故事，克服其技术复杂性和缺乏叙事连贯性的局限。
• 评估大语言模型生成的叙述（XAIstories）是否在说服力、准确性和效率方面优于人工编写的解释，针对普通用户和数据科学家进行评估。
• 评估 XAIstories 在提升非专家受众对人工智能决策的理解与信任方面的潜力。

提出的方法

• XAIstories 利用微调后的大语言模型（LLMs），将 SHAP 值转化为叙事性解释（SHAPstories），以解释特征对预测得分的贡献。
• 对于反事实解释，XAIstories 生成叙述（CFstories），说明使预测类别发生变化的最小输入特征改动，将其呈现为“如果……会怎样”的情景。
• 该方法通过提示工程和基于 SHAP 与 CF 输出的结构化输入模板，引导 LLM 生成连贯、准确且语境相关的叙述。
• 通过面向普通用户和数据科学家的用户研究对方法进行评估，将 LLM 生成的故事与人工编写的叙述及基线解释进行对比。
• 评估指标包括可信度感知、叙述质量、生成速度以及解释内容的准确性，辅以统计分析验证结果。
• 该框架应用于表格数据（学生成绩预测）和图像分类（MobileNet V2 的误分类），展示了其在跨领域的适用性。

实验结果

研究问题

• RQ1 LLM 生成的叙述（XAIstories）是否能显著提升非专业用户对 SHAP 解释的清晰度和可信度感知？
• RQ2 CFstories 在感知质量、准确性和生成速度方面与人工编写的叙述相比如何？
• RQ3 数据科学家在多大程度上认为 XAIstories 对向非技术利益相关者传达人工智能解释具有价值？
• RQ4 基于 SHAP 和反事实生成的叙述能否在真实世界决策场景中增强用户对人工智能预测的信任与理解？

主要发现

• 超过 90% 的普通用户认为 SHAPstories 具有说服力，表明 LLM 生成的叙述在 SHAP 解释中获得了广泛用户接受。
• 92% 的数据科学家表示 SHAPstories 将提升非专业人士理解人工智能预测的便捷性和信心。
• 83% 的数据科学家表示有很高可能性使用 SHAPstories 向非专业受众传达解释。
• 在图像分类任务中，超过 75% 的普通用户认为 CFstories 的说服力与用户自编叙述相当或更优。
• CFstories 的叙述生成时间相比人工编写减少了十倍，显著提升了效率。
• 与人工生成的解释相比，CFstories 的叙述准确性提升了 20% 以上，表明其更忠实于底层的反事实逻辑。