[论文解读] "Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification

Jasmijn Bastings, Sebastian Ebert+3 more|arXiv (Cornell University)|Nov 14, 2021

Topic Modeling被引用 5

一句话总结

本文提出一种协议，通过使用部分合成数据建立特征重要性排序的基准真实值，以评估文本分类中输入显著性方法的忠实度。结果表明，与复杂配置的积分梯度相比，简单的Grad-L2方法在检测BERT和LSTM模型中的词汇捷径时表现更优，挑战了关于方法可靠性的既有假设。

ABSTRACT

Feature attribution a.k.a. input salience methods which assign an importance score to a feature are abundant but may produce surprisingly different results for the same model on the same input. While differences are expected if disparate definitions of importance are assumed, most methods claim to provide faithful attributions and point at the features most relevant for a model's prediction. Existing work on faithfulness evaluation is not conclusive and does not provide a clear answer as to how different methods are to be compared. Focusing on text classification and the model debugging scenario, our main contribution is a protocol for faithfulness evaluation that makes use of partially synthetic data to obtain ground truth for feature importance ranking. Following the protocol, we do an in-depth analysis of four standard salience method classes on a range of datasets and shortcuts for BERT and LSTM models and demonstrate that some of the most popular method configurations provide poor results even for simplest shortcuts. We recommend following the protocol for each new task and model combination to find the best method for identifying shortcuts.

研究动机与目标

• 为解决文本分类中缺乏标准化、可靠的输入显著性方法忠实度评估方法的问题。
• 开发一种协议，以系统性地评估在模型调试背景下（特别是检测词汇捷径）的显著性方法。
• 测试常用显著性方法配置在识别模型捷径（尤其是BERT和LSTM模型）方面的可靠性。
• 提供实证证据，说明方法配置细节（如基线选择、梯度简化）如何影响检测捷径的性能。
• 为从业者提供指导，选择在揭示NLP模型中的虚假相关性或基于启发式预测方面最有效的显著性方法。

提出的方法

• 该协议使用部分合成数据集，其中注入特定的词汇捷径（如单个词、词对或上下文模式），以建立特征重要性的已知基准真实值。
• 对于每个输入，显著性方法生成词元的重要性分数，其排序与已知的捷径词元进行比较，以计算忠实度指标。
• 该协议评估了四类显著性方法：积分梯度、Grad-CAM变体（如Grad-L2）、LIME和梯度×输入，涵盖多种数据集和模型类型（BERT和LSTM）。
• 关键指标包括precision@1和平均倒数排名（MRR），用于衡量方法识别出的最重要词元是否与真实捷径一致。
• 评估设定在模型调试场景中，目标是检测模型是否依赖于简单的词汇模式而非语义内容。
• 该协议允许对方法配置（如不同基线输入或梯度简化策略，例如L1与点积）进行受控比较。

实验结果

研究问题

• RQ1 在文本分类模型中，哪些输入显著性方法配置在识别简单词汇捷径方面最有效？
• RQ2 方法配置（如基线选择、梯度简化）如何影响显著性图在检测已知捷径时的忠实度？
• RQ3 显著性方法的性能是否能在不同模型架构（如BERT与LSTM）和不同捷径类型（单个词、上下文模式、有序词对）之间泛化？
• RQ4 像积分梯度这类常被认为“忠实”的方法，在真实世界NLP模型中检测捷径时是否始终可靠？
• RQ5 基于合成捷径的协议能否提供一种可靠且可重复的基准，用于评估显著性方法的忠实度？

主要发现

• Grad-L2——一种简单的基于梯度的方法——在BERT和LSTM模型中均一致优于复杂配置的积分梯度，在检测词汇捷径方面表现更优。
• 采用L1或点积梯度简化的积分梯度表现较差，单个词捷径的precision@1值低至12-13%，表明其忠实度较弱。
• 基线输入的选择显著影响显著性结果，某些配置甚至在简单捷径上也产生了误导性归因。
• 方法性能在不同捷径类型间不一致：训练于有序词对（如'3 out of 10'）的模型比单个词捷径更难解释，且性能随模型架构而异。
• 该协议成功揭示了近期文献中假设可靠的配置（如带l-mean的IG）在实践中可能表现极差，尤其在BERT模型中。
• 对于BERT模型，最简单的方法（Grad-L2）在揭示捷径方面最为有效，挑战了‘更复杂的方法天然更忠实’的假设。