[论文解读] Relational Graph Representation Learning for Open-Domain Question Answering

Salvatore Vivona, Kaveh Hassani|arXiv (Cornell University)|Oct 18, 2019

Topic Modeling参考文献 27被引用 7

一句话总结

该论文提出了一种具有双向注意力机制和层次化表示学习的关联图神经网络，用于开放域问答任务，联合建模查询、知识图谱和关联文档。在WebQuestionsSP数据集上实现了最先进性能，微F1达到72.6%，Hits@1为68.2%，优于先前的模型如GRAFT-Net。

ABSTRACT

We introduce a relational graph neural network with bi-directional attention mechanism and hierarchical representation learning for open-domain question answering task. Our model can learn contextual representation by jointly learning and updating the query, knowledge graph, and document representations. The experiments suggest that our model achieves state-of-the-art on the WebQuestionsSP benchmark.

研究动机与目标

• 为解决单源问答的局限性，通过联合建模查询、知识图谱和文档来提升开放域问答性能。
• 通过学习实体与文档之间的上下文化、关系化表示，提高开放域问答中的答案准确率。
• 通过引入可学习的、与文档上下文相关的关系嵌入，克服固定关系表示的不足。
• 通过双向注意力机制增强知识图谱中的消息传递，以捕捉异构有向关系。
• 通过图粗化和基于聚类的聚合实现层次化表示学习，以提升感受野和模型性能。

提出的方法

• 利用文档作为上下文化的关系来增强知识图谱，通过可学习嵌入在共现实体之间建立双向边。
• 引入一种双向图注意力机制，计算前向和后向边表示之间的注意力分数，以处理异构有向图。
• 应用可学习的线性层将节点分配至聚类，实现节点和聚类表示的层次化聚合。
• 采用多层消息传递机制，利用来自输入和输出边的注意力消息更新节点嵌入。
• 将所有层的最终节点表示与基于聚类的表示拼接，随后通过带有Sigmoid激活函数的分类器进行输出。
• 使用预训练的TransE和BiLSTM结合GloVe嵌入，初始化实体、关系、查询和文档嵌入。

实验结果

研究问题

• RQ1 联合学习查询、知识图谱和文档表示是否能提升开放域问答性能？
• RQ2 将文档作为上下文化关系建模，是否能相比固定关系表示提升答案准确率？
• RQ3 双向注意力机制是否能改善异构有向知识图谱中的消息传递？
• RQ4 通过图粗化实现的层次化聚合在多大程度上提升了模型性能和感受野？
• RQ5 各个组件（如双向注意力、文档关系、聚类）对最终性能的贡献如何？

主要发现

• 所提模型在WebQuestionsSP基准上取得72.6%的微F1分数，优于先前最先进模型GRAFT-Net（66.0%微F1）。
• 模型将Hits@1提升至68.2%，较GRAFT-Net（67.8%）提升0.4个百分点。
• 消融实验表明，所提出的各个组件——双向注意力、文档上下文关系、层次化聚合——均对性能有显著贡献。
• 模型在宏F1上达到62.5%，平均F1为61.7%，表明在数据集的平衡与非平衡方面均表现优异。
• 使用可学习的、文档感知的关系嵌入，使文本上下文与知识图谱事实之间的对齐效果优于固定关系表示。
• 层次化聚合机制扩大了有效感受野，并通过消融实验验证了其在表示学习方面的提升作用。