[论文解读] Polyjuice: Generating Counterfactuals for Explaining, Evaluating, and Improving Models

Tongshuang Wu, Marco Túlio Ribeiro+2 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 76被引用 22

一句话总结

Polyjuice 是一个微调过的 GPT-2 模型，通过从成对的句子数据集中学习，生成多样化且可控的 NLP 模型反事实样本。它实现了与应用无关的反事实生成，通过控制代码指定扰动类型和位置，使数据增强中的标注工作量减少了约 70%，并提升了在三个任务中的模型评估、解释和错误分析效果。

ABSTRACT

While counterfactual examples are useful for analysis and training of NLP models, current generation methods either rely on manual labor to create very few counterfactuals, or only instantiate limited types of perturbations such as paraphrases or word substitutions. We present Polyjuice, a general-purpose counterfactual generator that allows for control over perturbation types and locations, trained by finetuning GPT-2 on multiple datasets of paired sentences. We show that Polyjuice produces diverse sets of realistic counterfactuals, which in turn are useful in various distinct applications: improving training and evaluation on three different tasks (with around 70% less annotation effort than manual generation), augmenting state-of-the-art explanation techniques, and supporting systematic counterfactual error analysis by revealing behaviors easily missed by human experts.

研究动机与目标

• 通过通用生成器自动化反事实生成过程，解决 NLP 中人工生成反事实样本成本高且不一致的问题。
• 克服仅关注预测改变或标签改变扰动的特定任务反事实生成器的局限性。
• 通过将生成过程与下游应用选择解耦，实现反事实样本在多个 NLP 任务中的广泛适用性。
• 通过生成高质量、多样化的反事实样本，支持人机协同工作流，减轻人工标注负担。
• 通过揭示人类专家和标准解释方法所忽略的行为，促进系统性的模型错误分析。

提出的方法

• 在多个原始句与反事实句成对的数据集上微调 GPT-2，以学习多样化反事实的条件生成。
• 引入控制代码（如否定、删除）和填空模板，以在输入中指定扰动类型和位置。
• 将反事实生成建模为条件文本生成，同时以输入句子和控制代码作为条件。
• 使用简单、任务特定的选择启发式方法，从生成的反事实池中提取适用于下游应用的相关样本。
• 利用模型生成流畅、多样化且语义相近的反事实样本的能力，而不依赖现成的预训练语言模型。
• 在半自动工作流中应用生成器，由人类负责标注或选择反事实样本，而非从零开始创建。

实验结果

研究问题

• RQ1 一个单一的、通用型反事实生成器是否能在保持或提升模型性能的同时，显著减少数据增强和评估中的标注工作量？
• RQ2 可控的、与应用无关的反事实生成在模型解释方面，相比现有基于归因的方法，能提升多少？
• RQ3 Polyjuice 在揭示人类专家或标准评估协议所忽略的系统性模型行为和错误方面，效果如何？
• RQ4 同一组生成的反事实样本是否能支持多种下游任务，包括训练、评估、解释和错误分析？
• RQ5 在扰动细微或上下文敏感的情况下，当前方法在覆盖范围、偏差和有效性方面存在哪些局限性？

主要发现

• 与人工创建相比，Polyjuice 在数据增强和对比集生成中将标注工作量减少了约 70%。
• 该模型生成了流畅、多样化且语义相近的反事实样本，其控制机制能够检索到标准语言模型难以采样的扰动。
• Polyjuice 生成的反事实样本显著提升了模型的泛化能力，并帮助识别出在三个不同 NLP 任务中模型的脆弱性。
• 当与最先进的解释技术结合时，Polyjuice 的反事实样本揭示了模型的失败行为——例如对关键词汇如 'great' 或 'kids' 的不敏感性——这些行为仅靠特征归因是无法发现的。
• 使用 Polyjuice 进行反事实错误分析揭示了系统性行为，例如模型对不同否定形式的差异性响应，从而为模型鲁棒性提供了更深入的洞察。
• 尽管模型具备诸多优势，但其生成并非全面覆盖，可能因训练数据偏差而更倾向于某些扰动模式（如负面情感词），凸显了对人工监督进行审慎管理的必要性。