[论文解读] XAI meets LLMs: A Survey of the Relation between Explainable AI and Large Language Models

Erik Cambria, Lorenzo Malandri+3 more|arXiv (Cornell University)|Jul 21, 2024

Natural Language Processing Techniques被引用 11

一句话总结

一项系统映射研究，评估解释性人工智能（XAI）与大型语言模型（LLMs）在交叉领域的相关性，概述分类体系、趋势、差距，以及共同推动 XAI 与 LLM 研究的未来方向。

ABSTRACT

In this survey, we address the key challenges in Large Language Models (LLM) research, focusing on the importance of interpretability. Driven by increasing interest from AI and business sectors, we highlight the need for transparency in LLMs. We examine the dual paths in current LLM research and eXplainable Artificial Intelligence (XAI): enhancing performance through XAI and the emerging focus on model interpretability. Our paper advocates for a balanced approach that values interpretability equally with functional advancements. Recognizing the rapid development in LLM research, our survey includes both peer-reviewed and preprint (arXiv) papers, offering a comprehensive overview of XAI's role in LLM research. We conclude by urging the research community to advance both LLM and XAI fields together.

研究动机与目标

• 提出一个新颖的分类框架，用于评估在 LLM 上的 XAI 研究。
• 提供关于 XAI 和 LLM 的同行评审与预印本工作的全面综述。
• 批判性评估当前实践，识别 LLM 的 XAI 研究中的差距与未来研究方向。

提出的方法

• 界定关于 XAI 技术如何与 LLMs 集成以及新兴融合的研究问题。
• 对来自 ArXiv 与 DBLP/Scopus 的同行评审论文和预印本论文进行 Systematic Mapping Study（SMS）。
• 人工筛选并核实候选论文，去除误检并基于引文指标选出最相关的 35 篇研究。
• 将纳入的论文分成 Application (To Explain; As Feature) 与 Discussion (Issues; Benchmark and Metrics) 两类。
• 综合研究发现，讨论对开源工具的参与以及解释性方法与面向任务的改进之间的平衡。

Figure 1: The process used for getting the papers related to our keywords, including the definition of research questions, paper retrieval, paper selection, elimination of false positives and classifying papers in the pre-defined categories.

实验结果

研究问题

• RQ1 Q1 当前 XAI 技术如何与 LLMs 结合？
• RQ2 Q2 将 LLM 与 XAI 方法学融合的新兴趋势是什么？
• RQ3 Q3 文献中存在哪些差距，哪些领域需要进一步研究？

主要发现

• 仅有一小部分调查工作直接处理基于 LLM 的系统的可解释性方法。
• 越来越多的研究以开源形式发布代码或工具，促进透明性和可重复性。
• 存在显著的分化：一些工作专注于解释/可解释性，而许多工作关注任务性能，将可解释性作为副产物。
• 大多数论文集中在 LLMs 上，而非更窄的 AI 系统，显示出广泛但不均衡的研究重点。
• 呼吁在提升性能的同时，揭示 LLM 的内部工作原理并提高对非技术利害关系人的解释可读性。