[论文解读] Yuanfudao at SemEval-2018 Task 11: Three-way Attention and Relational Knowledge for Commonsense Machine Comprehension

Liang Wang, Sun, Meng+3 more|arXiv (Cornell University)|Mar 1, 2018

Topic Modeling参考文献 18被引用 12

一句话总结

本文提出TriAN，一种用于常识机器理解的三路注意力神经网络，通过词级注意力建模文本、问题和答案之间的交互。通过整合ConceptNet的关系嵌入并利用RACE数据集进行预训练，该系统在SemEval-2018 Task 11测试集上达到83.95%的准确率，接近当前最先进水平。

ABSTRACT

This paper describes our system for SemEval-2018 Task 11: Machine Comprehension using Commonsense Knowledge. We use Three-way Attentive Networks (TriAN) to model interactions between the passage, question and answers. To incorporate commonsense knowledge, we augment the input with relation embedding from the graph of general knowledge ConceptNet (Speer et al., 2017). As a result, our system achieves state-of-the-art performance with 83.95% accuracy on the official test data. Code is publicly available at https://github.com/intfloat/commonsense-rc

研究动机与目标

• 通过建模文本、问题和答案序列之间的交互，提升常识推理任务中的机器理解能力。
• 将外部常识知识（来自ConceptNet）作为关系嵌入以增强模型性能。
• 探究在低资源阅读理解设置下，预训练和人工设计特征的有效性。
• 评估不同注意力机制和输入表示对模型准确率的影响。
• 探究浅层模型在小规模数据集上是否比深层模型泛化能力更强。

提出的方法

• 模型使用三路注意力机制，通过序列注意力函数计算与文本相关的提问表示以及与文本相关的答案表示。
• 输入表示结合GloVe嵌入、词性标注和命名实体嵌入、来自ConceptNet的关系嵌入，以及人工设计的特征（如词频和共现性）。
• 关系嵌入通过查询ConceptNet中获取文本中的词语与问题或答案中的词语之间的边来生成。
• 对拼接后的表示应用BiLSTM层，以建模文本、问题和答案之间的序列依赖关系。
• 系统在RACE数据集上进行预训练，以提升在较小的SemEval-2018数据集上的泛化能力并减少过拟合。
• 采用模型集成方法以提升最终性能，在官方测试集上达到83.95%的准确率。

Figure 1: TriAN Model Architecture.

实验结果

研究问题

• RQ1 三路注意力在常识阅读理解中建模文本、问题和答案之间交互的有效性如何？
• RQ2 来自ConceptNet的关系嵌入在常识理解任务中能多大程度上提升性能？
• RQ3 在外部阅读理解数据集（如RACE）上进行预训练，是否能提升在低资源基准上的性能？
• RQ4 不同输入表示组件（如词性标注、命名实体识别、人工设计特征）对模型准确率的贡献如何？
• RQ5 为何深层TriAN模型在此数据集上表现不如浅层模型，尽管深层模型在大规模数据集上通常表现更优？

主要发现

• 经过预训练的TriAN模型在官方SemEval-2018 Task 11测试集上达到83.95%的准确率，位居当前最先进水平附近。
• 与从零开始训练相比，在RACE数据集上进行预训练使测试集准确率提升1.13%，表明在数据稀缺场景下具有显著优势。
• 来自ConceptNet的关系嵌入带来约1%的准确率增益，证明其在常识推理中的价值。
• 单独移除任一注意力机制（文本-问题、文本-答案、问题-答案）对性能影响较小，但同时移除所有注意力机制会使测试集性能下降1.3%。
• 1层TriAN模型优于2层版本，表明尽管深层架构表达能力更强，但在小规模训练集上仍存在过拟合问题。
• 人工设计特征和命名实体嵌入对性能有轻微提升，而词性标注嵌入则产生适度的正面影响。