[论文解读] Trusting RoBERTa over BERT: Insights from CheckListing the Natural Language Inference Task

Ishan Tarunesh, Somak Aditya+1 more|arXiv (Cornell University)|Jul 15, 2021

Topic Modeling参考文献 37被引用 9

一句话总结

本文提出了一套大规模、基于模板的测试集（CheckListNLI），包含184,000个样本，覆盖194种模板，用于评估自然语言推理（NLI）模型的推理能力。结果表明，尽管RoBERTa展现出更高的稳定性和可预测性——体现在人类预测准确率提升了12.5%——但BERT和RoBERTa在模板间和模板内均表现出显著的不一致性，凸显了从行为测试中泛化模型行为的挑战。

ABSTRACT

The recent state-of-the-art natural language understanding (NLU) systems often behave unpredictably, failing on simpler reasoning examples. Despite this, there has been limited focus on quantifying progress towards systems with more predictable behavior. We think that reasoning capability-wise behavioral summary is a step towards bridging this gap. We create a CheckList test-suite (184K examples) for the Natural Language Inference (NLI) task, a representative NLU task. We benchmark state-of-the-art NLI systems on this test-suite, which reveals fine-grained insights into the reasoning abilities of BERT and RoBERTa. Our analysis further reveals inconsistencies of the models on examples derived from the same template or distinct templates but pertaining to same reasoning capability, indicating that generalizing the models' behavior through observations made on a CheckList is non-trivial. Through an user-study, we find that users were able to utilize behavioral information to generalize much better for examples predicted from RoBERTa, compared to that of BERT.

研究动机与目标

• 开发一个全面的、基于模板的测试集，用于评估NLI模型的推理能力。
• 评估最先进的自然语言理解（NLU）模型（如BERT和RoBERTa）在多种推理现象中的行为一致性与可预测性。
• 探究人类用户是否能通过CheckList测试集的行为摘要更有效地泛化模型行为，特别是针对RoBERTa与BERT的对比。
• 量化模型不一致性对人类信任度及对模型行为预期的影响。

提出的方法

• 扩展CheckList方法论，构建一个包含194种模板的测试集，涵盖17种推理类型，包括因果、空间和语用推理，源自TaxINLI分类体系。
• 通过系统性地在模板内变换词汇和结构，生成184,000个样本，以探测模型在语言和逻辑扰动下的行为表现。
• 利用BERT和RoBERTa的最终[CLS] token嵌入计算余弦相似度，并识别最近邻样本供人类研究。
• 通过模拟实验开展一项包含10名语言学奥林匹克竞赛参与者的用户研究，评估人类利用行为信息预测模型预测结果的能力。
• 通过测量预测准确率和参与者之间的互相关性，评估行为摘要在提升人类泛化能力方面的有效性。

实验结果

研究问题

• RQ1 BERT和RoBERTa在不同模板之间以及同一模板在词汇变化下表现出多大程度的行为一致性？
• RQ2 当提供CheckList测试集的行为摘要时，人类用户是否能更有效地泛化RoBERTa的行为，而非BERT？
• RQ3 模型预测中的不一致性如何影响人类对NLU系统中模型行为的信任度与预期？
• RQ4 与原始模型输出相比，CheckList提供的解耦行为摘要是否能提升人类对模型推理过程的理解？

主要发现

• BERT和RoBERTa在模板之间以及在词汇变化下均表现出显著的不一致性，表明其泛化能力面临非平凡的挑战。
• 当人类参与者使用CheckList样例预测模型行为时，对RoBERTa的预测准确率相比BERT提高了12.5%。
• 参与者之间的互相关性从BERT的74.75%提升至79.8%，而RoBERTa保持高水平，表明行为摘要能增强人类推理的一致性。
• 60%的参与者表示，预测RoBERTa的行为比BERT更容易，尽管两者均表现出不一致性，这表明RoBERTa在实践中更具可预测性。
• 参与者普遍认为，CheckList中的最近邻样本最具帮助，尤其是在理解复杂情况下的模型行为时。