[论文解读] PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text

Haitian Sun, Tania Bedrax-Weiss+1 more|arXiv (Cornell University)|Apr 21, 2019

Topic Modeling参考文献 37被引用 35

一句话总结

PullNet 学会如何从知识库和文本语料库中迭代检索，以回答开放领域问题，使用问题引导的子图和图卷积网络进行多跳推理，且带弱监督。

ABSTRACT

We consider open-domain queston answering (QA) where answers are drawn from either a corpus, a knowledge base (KB), or a combination of both of these. We focus on a setting in which a corpus is supplemented with a large but incomplete KB, and on questions that require non-trivial (e.g., ``multi-hop'') reasoning. We describe PullNet, an integrated framework for (1) learning what to retrieve (from the KB and/or corpus) and (2) reasoning with this heterogeneous information to find the best answer. PullNet uses an {iterative} process to construct a question-specific subgraph that contains information relevant to the question. In each iteration, a graph convolutional network (graph CNN) is used to identify subgraph nodes that should be expanded using retrieval (or ``pull'') operations on the corpus and/or KB. After the subgraph is complete, a similar graph CNN is used to extract the answer from the subgraph. This retrieve-and-reason process allows us to answer multi-hop questions using large KBs and corpora. PullNet is weakly supervised, requiring question-answer pairs but not gold inference paths. Experimentally PullNet improves over the prior state-of-the art, and in the setting where a corpus is used with incomplete KB these improvements are often dramatic. PullNet is also often superior to prior systems in a KB-only setting or a text-only setting.

研究动机与目标

• 提出开放领域问答的动机，其中答案可能来自知识库、语料库，或两者并存，尤其当知识库存缺失时。
• 提出一个集成的、迭代检索框架，构建一个与问题相关的异质子图。
• 使端到端对文本和知识库数据进行推理成为可能，使用带弱监督的图CNN。

提出的方法

• 定义由实体、文本和事实节点组成的异质问题子图。
• 通过一个学习的 pull-operations 分类器迭代地对子图进行分类和扩展，拉取相关文档和知识库事实。
• 通过基于 IDF 的 Lucene pull_docs 检索文档，通过学习得到的相似度 S(r,q) 在关系嵌入和问题编码之间获取事实。
• 在每次迭代后更新子图，以包含新检索到的节点和边。
• 使用图CNN（GRAFT-Net 风格）计算节点表示，并选择要拉取的实体以及最可能的答案的节点。
• 在弱监督下通过利用问题-答案对和最短路径推理信号进行训练。

实验结果

研究问题

• RQ1 在知识库和文本语料上进行面向问题的迭代检索是否能在知识库不完整时提升开放域问答性能？
• RQ2 学习要检索的内容（相较于依赖启发式方法）是否能得到更小、更相关的子图以及更好的多跳推理？
• RQ3 在包含多跳问题的基准中，将知识库与文本源结合与单独使用任一源相比有何差异？

主要发现

• PullNet 在包含知识库+文本的开放域问答基准上达到最先进或具有竞争力的结果，特别是在知识库不完整时。
• 在仅知识库设置中，PullNet 相较于基线显著提升了 2-hop 与 3-hop 问题的表现。
• 在文本为主或知识库+文本不完整的设置中，PullNet 超过基线，且常常优于仅知识库或仅文本的方法。
• 迭代检索相比于启发式的一次性检索方法，能在更小的子图上获得更高的召回率。
• 在 MetaQA 3-hop 问题上，PullNet 在知识库设置中将 hits-at-one 从 62.5% 提升到 91.4%。
• 在 Complex WebQuestions 与不完整知识库的情形中，PullNet 相较 GRAFTNet 提升 6.8%（绝对值）。