[论文解读] Natural Language Inference with a Human Touch: Using Human Explanations to Guide Model Attention.

Joe Stacey, Yonatan Belinkov+1 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 42被引用 4

一句话总结

本文提出使用人类生成的自然语言解释来指导神经网络模型在自然语言蕴涵（NLI）任务中的注意力机制，从而提升模型在分布内和分布外数据上的泛化能力。通过监督注意力权重聚焦于与解释相关的关键词，模型学习到更鲁棒、更符合人类认知的特征，减少对数据集偏差的依赖。

ABSTRACT

Natural Language Inference (NLI) models are known to learn from biases and artefacts within their training data, impacting how well the models generalise to other unseen datasets. While previous de-biasing approaches focus on preventing models learning from these biases, we instead provide models with information about how a human would approach the task, with the aim of encouraging the model to learn features that will generalise better to out-of-domain datasets. Using natural language explanations, we supervise a model's attention weights to encourage more attention to be paid to the words present in these explanations. For the first time, we show that training with human generated explanations can simultaneously improve performance both in-distribution and out-of-distribution for NLI, whereas most related work on robustness involves a trade-off between the two. Training with the human explanations encourages models to attend more broadly across the sentences, paying more attention to words in the premise and less attention to stop-words and punctuation. The supervised models attend to words humans believe are important, creating more robust and better performing NLI models.

研究动机与目标

• 解决由于数据集偏差和人工制品导致的NLI模型泛化能力差的问题。
• 在不牺牲分布内性能的前提下提升模型鲁棒性，克服鲁棒性研究中常见的权衡问题。
• 利用自然语言解释作为监督信号，引导模型注意力关注人类认为重要的词语。
• 鼓励模型在句子间更广泛地分配注意力，减少对停用词和标点符号的过度依赖。
• 构建能够学习与人类推理对齐特征的NLI模型，以实现更好的泛化能力。

提出的方法

• 人工标注者为NLI的前提-假设对提供自然语言解释，识别关键的推理要素。
• 模型的注意力权重受到监督，以与人类解释中出现的词语保持一致。
• 应用可微的注意力正则化损失，促使注意力聚焦于与解释相关的关键词。
• 模型通过端到端微调，同时优化NLI分类损失和基于解释的注意力正则化损失。
• 鼓励注意力在句子间更广泛分布，减少对停用词等琐碎标记的过度聚焦。
• 该方法在训练过程中直接将人类推理信号整合到注意力机制中。

实验结果

研究问题

• RQ1 人类解释能否同时提升NLI模型在分布内和分布外数据上的性能？
• RQ2 通过人类解释引导注意力是否能减少对数据集偏差和人工制品的依赖？
• RQ3 能否有效利用自然语言解释对注意力进行正则化，以提升模型鲁棒性？
• RQ4 与基线模型相比，该模型是否更关注人类解释中突出的词语？
• RQ5 注意力分布是否变得更符合人类认知，减少对标点符号和停用词的聚焦？

主要发现

• 使用人类解释进行训练可同时提升模型在分布内和分布外数据集上的NLI性能，避免了典型的鲁棒性-泛化能力权衡。
• 模型更关注人类解释中出现的词语，表明其成功对齐了人类推理模式。
• 注意力在句子间分布更广泛，减少了对停用词和标点符号的过度集中。
• 模型学习到更具鲁棒性的特征，能更好地泛化到未见领域。
• 注意力机制变得更可解释，且与人工标注的推理线索更一致。
• 该方法表明，将人类结构化的解释融入模型，可引导模型实现更通用化和类人化的推理。