[论文解读] Pair the Dots: Jointly Examining Training History and Test Stimuli for Model Interpretability

Yuxian Meng, Chun Chieh Fan+4 more|arXiv (Cornell University)|Oct 14, 2020

Adversarial Robustness in Machine Learning参考文献 70被引用 10

一句话总结

本文提出了一种可微分且高效的框架，通过影响函数将测试样本的显著性反向追溯至有影响力的训练数据，联合分析训练样本与测试输入，以解释神经网络模型的预测结果。该方法实现了全面的可解释性、错误分析、对抗性样本生成以及模型修正，仅需极少的微调，通过有针对性的训练数据增强，最高可实现1%的准确率提升。

ABSTRACT

Any prediction from a model is made by a combination of learning history and test stimuli. This provides significant insights for improving model interpretability: {\it because of which part(s) of which training example(s), the model attends to which part(s) of a test example}. Unfortunately, existing methods to interpret a model's predictions are only able to capture a single aspect of either test stimuli or learning history, and evidences from both are never combined or integrated. In this paper, we propose an efficient and differentiable approach to make it feasible to interpret a model's prediction by jointly examining training history and test stimuli. Test stimuli is first identified by gradient-based methods, signifying {\it the part of a test example that the model attends to}. The gradient-based saliency scores are then propagated to training examples using influence functions to identify {\it which part(s) of which training example(s)} make the model attends to the test stimuli. The system is differentiable and time efficient: the adoption of saliency scores from gradient-based methods allows us to efficiently trace a model's prediction through test stimuli, and then back to training examples through influence functions. We demonstrate that the proposed methodology offers clear explanations about neural model decisions, along with being useful for performing error analysis, crafting adversarial examples and fixing erroneously classified examples.

研究动机与目标

• 通过联合分析测试样本和训练历史，弥合神经网络模型的可解释性差距。
• 克服现有方法仅孤立关注测试输入或训练样本的局限性。
• 开发一种可微分且高效的框架，将模型决策从测试输入特征反向追溯至有影响力的训练数据。
• 通过修改训练数据实现错误诊断、对抗性样本生成和模型修正等实际应用。
• 在NLP任务中展示该方法在提升模型鲁棒性和可解释性方面的有效性。

提出的方法

• 使用基于梯度的方法识别测试输入的显著性，以定位最影响模型预测的测试样本部分。
• 利用影响函数将显著性分数从测试输入传播至训练样本，影响函数量化每个训练样本对预测的影响。
• 该方法完全可微分，支持从测试输入经模型参数到训练样本的端到端梯度传播。
• 影响函数的计算无需重新训练模型，确保时间效率。
• 该框架支持对抗性样本生成（通过扰动有影响力的训练样本）和模型修正（通过修改训练样本以修复误分类）。
• 通过同义词和反义词替换对训练样本施加扰动，以改变模型注意力，仅在数据增强后进行一次微调。

实验结果

研究问题

• RQ1 如何通过联合分析测试样本和训练历史来共同解释模型预测？
• RQ2 哪些训练样本的哪些部分导致了模型对测试样本特定区域的关注？
• RQ3 能否通过修改有影响力的训练样本而非测试样本，来生成对抗性样本？
• RQ4 能否通过修改训练样本使注意力转向正确特征，从而修正模型错误？
• RQ5 在对抗性和修正场景下，修改的训练样本数量如何影响模型性能？

主要发现

• 在IMDB数据集上，仅扰动一个有影响力的训练样本，即可使模型准确率下降高达25%，证明了该方法在生成高影响力对抗性样本方面的有效性。
• 联合对抗方法（同时抑制对显著区域的关注并引导注意力至非显著区域）在相同数量扰动样本下，优于单独使用任一方法。
• 在通过生成训练样本修复误分类预测时，当每个误分类样本添加四个扰动样本后，测试准确率提升了1%，在四例后达到峰值，随后出现过拟合。
• 当每个误分类测试样本生成的训练样本超过四个时，观察到过拟合现象，导致测试性能急剧下降。
• 当过多训练样本被修改时，模型性能出现显著下降（例如，20个扰动样本时准确率降至52.0%），表明攻击强度与模型泛化能力之间存在权衡。
• 该方法计算高效，因其在影响分析过程中避免了模型微调，仅依赖预计算的影响函数和基于梯度的显著性方法。