[论文解读] Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches

Shane Storks, Qiaozi Gao+1 more|arXiv (Cornell University)|Apr 1, 2019

Topic Modeling被引用 126

一句话总结

本文综述了自然语言推理（NLI）的最新基准、知识资源和学习方法，强调该领域的趋势、局限性和机遇。

ABSTRACT

In the NLP community, recent years have seen a surge of research activities that address machines' ability to perform deep language understanding which goes beyond what is explicitly stated in text, rather relying on reasoning and knowledge of the world. Many benchmark tasks and datasets have been created to support the development and evaluation of such natural language inference ability. As these benchmarks become instrumental and a driving force for the NLP research community, this paper aims to provide an overview of recent benchmarks, relevant knowledge resources, and state-of-the-art learning and inference approaches in order to support a better understanding of this growing field.

研究动机与目标

• 提供用于评估NLI进展的基准和任务的概览。
• 总结支持NLI理解的可用知识资源。
• 综述NLI的学习与推理方法及其表现和局限性。
• 讨论当前挑战，如数据偏差与可解释性，并识别未来机会。

提出的方法

• 按任务类型对基准数据集进行分类与描述（引用消解、问答、文本蕴含等）。
• 描述知识资源类型（语言知识、通用知识和常识性知识）及其在NLI中的作用。
• 总结从符号方法到深度神经网络的学习与推理方法及其权衡。
• 分析基准设计考虑因素、数据收集方法和偏差缓解策略。
• 讨论NLI研究中的局限性、可重复性和未来方向。

实验结果

研究问题

• RQ1 推动NLI研究的主要基准数据集和任务表述是什么？
• RQ2 用于支持NLI的知识资源类型有哪些，它们如何组织？
• RQ3 当前NLI研究中哪些学习与推理方法占主导地位，它们的优点和局限性是什么？
• RQ4 当前的挑战（如偏差、可解释性）以及NLI未来工作的机会是什么？

主要发现

• 基准涵盖引用消解、问答、文本蕴含和多任务设置，随着时间推移倾向于更大数据集。
• 知识资源被归类为语言知识、常规知识和常识性知识以支持推理。
• 神经和混合方法取得了强劲的性能，但引发了关于可解释性和数据集偏差的担忧。
• 广泛的基准强调外部知识、推理和多句理解，表明向更深层次的NLI能力转变。
• 该综述讨论了局限性和未来机会，包括基准设计考虑因素和数据偏差缓解。