[论文解读] Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention

Zhen Tan, Tianlong Chen+2 more|arXiv (Cornell University)|Dec 22, 2023

Topic Modeling被引用 6

一句话总结

本文提出SparseCBM，一种基于稀疏性的框架，通过在标记、子网络和概念三个层面联合剪枝，为大语言模型（LLMs）提供整体性、可解释的解释。该方法支持推理时的可解释干预，无需微调即可提升模型的可解释性和准确性，同时在基准任务上保持最先进性能。

ABSTRACT

Large Language Models (LLMs) have achieved unprecedented breakthroughs in various natural language processing domains. However, the enigmatic ``black-box'' nature of LLMs remains a significant challenge for interpretability, hampering transparent and accountable applications. While past approaches, such as attention visualization, pivotal subnetwork extraction, and concept-based analyses, offer some insight, they often focus on either local or global explanations within a single dimension, occasionally falling short in providing comprehensive clarity. In response, we propose a novel methodology anchored in sparsity-guided techniques, aiming to provide a holistic interpretation of LLMs. Our framework, termed SparseCBM, innovatively integrates sparsity to elucidate three intertwined layers of interpretation: input, subnetwork, and concept levels. In addition, the newly introduced dimension of interpretable inference-time intervention facilitates dynamic adjustments to the model during deployment. Through rigorous empirical evaluations on real-world datasets, we demonstrate that SparseCBM delivers a profound understanding of LLM behaviors, setting it apart in both interpreting and ameliorating model inaccuracies. Codes are provided in supplements.

研究动机与目标

• 通过统一局部与全局解释方法，解决大语言模型（LLMs）中的可解释性差距。
• 开发一种框架，实现跨标记、子网络和概念的可解释、多层级解释。
• 实现在推理过程中无需重训练即可进行动态、可解释的模型调整。
• 在提升透明度与可信度的同时，保持高性能。
• 通过引入高效的推理时干预，减少对昂贵微调的依赖。

提出的方法

• SparseCBM 使用二阶剪枝，基于同时优化概念标签与任务标签的联合目标，迭代剪枝LLM主干网络。
• 构建与预定义、人类可解释概念相对应的概念特定稀疏子网络。
• 通过在模型架构中强制施加稀疏性，从输入标记到最终预测，提炼出紧凑且可解释的决策路径。
• 稀疏结构使可解释的推理时干预成为可能，支持根据输入上下文实时调整内部参数。
• 该框架将概念瓶颈模型（CBMs）与非结构化剪枝相结合，在保持性能的同时增强可解释性。
• 稀疏性由联合优化目标引导，在剪枝过程中平衡概念级与任务级预测准确性。

实验结果

研究问题

• RQ1 基于稀疏性的剪枝能否在大语言模型中实现跨标记、子网络和概念的整体性、多层级可解释性？
• RQ2 可解释的推理时干预集成如何提升模型在部署过程中的鲁棒性与准确性？
• RQ3 稀疏子网络在显著提升可解释性的同时，能在多大程度上维持性能？
• RQ4 该框架在不同LLM主干网络与不同稀疏度水平下的表现如何？
• RQ5 该方法能否在减少对微调依赖的同时，实现动态、上下文感知的模型调整？

主要发现

• SparseCBM在概念标签与任务标签预测基准上均达到最先进性能，准确率与完整LLM相当。
• 该框架支持无需微调即可提升预测准确率的可解释推理时干预。
• 即使在高稀疏度下，更大的LLM主干网络仍能保持高性能，表明其具备可扩展性与鲁棒性。
• 过度剪枝会降低所有模型的性能，证实存在最优稀疏度阈值。
• 该方法提供了一条协同的解释路径，有效整合了局部（标记/子网络）与全局（概念）解释。
• 稀疏结构支持在推理过程中进行动态、上下文感知的参数调整，增强模型的适应性与可解释性。