[论文解读] Open Information Extraction from Question-Answer Pairs

Nikita Bhutani, Yoshihiko Suhara+3 more|arXiv (Cornell University)|Mar 1, 2019

Topic Modeling参考文献 39被引用 5

一句话总结

NeurON 是一种新颖的端到端系统，通过使用带有约束解码的多源序列到序列模型，从问答对（cQA）中提取结构化知识元组。通过联合编码问题和答案，并强制执行句法和语义约束，NeurON 在抽取准确率上相比最先进句子级 OpenIE 方法实现了 13.3% 的相对提升，并在知识库扩展中发现了 15–25% 更多的唯一且有用的事实。

ABSTRACT

Open Information Extraction (OpenIE) extracts meaningful structured tuples from free-form text. Most previous work on OpenIE considers extracting data from one sentence at a time. We describe NeurON, a system for extracting tuples from question-answer pairs. Since real questions and answers often contain precisely the information that users care about, such information is particularly desirable to extend a knowledge base with. NeurON addresses several challenges. First, an answer text is often hard to understand without knowing the question, and second, relevant information can span multiple sentences. To address these, NeurON formulates extraction as a multi-source sequence-to-sequence learning task, wherein it combines distributed representations of a question and an answer to generate knowledge facts. We describe experiments on two real-world datasets that demonstrate that NeurON can find a significant number of new and interesting facts to extend a knowledge base compared to state-of-the-art OpenIE methods.

研究动机与目标

• 为解决现有开放信息抽取（OpenIE）系统仅处理单个句子的局限性，通过从对话式问答（cQA）对中提取结构化元组来改进。
• 为克服答案中依赖上下文的信息问题，即其含义依赖于相关问题，通过联合建模问题和答案来解决。
• 通过从现实世界 cQA 数据中提取精确且领域相关的事实，如现有知识库未捕获的酒店服务细节，来改进知识库（KB）扩展。
• 开发一种整合硬约束（句法、跨度有效性）和软约束（现有 KB 知识）的方法，以生成准确且可解释的元组。
• 在真实 cQA 数据集上评估系统，并证明其在精确率、召回率以及新事实发现方面优于最先进 OpenIE 模型。

提出的方法

• NeurON 采用多编码器-约束解码器架构，其中独立的编码器将问题和答案编码为上下文表示。
• 解码器以 <arg1> 实体 </arg1> <rel> 关系 </rel> <arg2> 参数 </arg2> 的格式生成结构化元组，使用编码后的表示作为上下文。
• 在解码过程中强制执行硬约束，以确保所有输出标记均为输入问题或答案的有效子跨度，并遵循正确的句法顺序。
• 通过利用现有 KB 中的先验知识应用软约束，以对输出序列进行排序并优先选择更符合目标领域的序列。
• 模型在序列到序列学习目标上进行端到端训练，使用注意力机制在生成过程中聚焦问题和答案的相关部分。
• 该框架支持迭代式知识库扩展，其中新提取的元组经过验证后用于在后续轮次中优化相关性评分。

实验结果

研究问题

• RQ1 多源序列到序列模型能否通过联合建模话语上下文，有效从问答对中提取结构化元组？
• RQ2 在 OpenIE 中引入硬约束（如跨度有效性、句法）在多大程度上能提升从 cQA 数据中抽取的准确率和可靠性？
• RQ3 从现有知识库中派生的软约束在多大程度上能提升所提取元组的相关性和质量？
• RQ4 在真实 cQA 数据集上，NeurON 与最先进句子级 OpenIE 系统相比，在精确率、召回率和新事实发现方面表现如何？
• RQ5 NeurON 能否用于迭代式、人机协同的流水线中，逐步以高质量、领域特定的事实丰富知识库？

主要发现

• NeurON 在两个真实世界 cQA 数据集上相比最先进句子级 OpenIE 模型，抽取准确率最高提升了 13.3%。
• 该系统从一个酒店 cQA 数据集中提取了 243 个唯一元组，其中 15–25% 未被先前的 OpenIE 系统捕获，表明其在事实发现方面具有显著新颖性。
• 在人工评估中，NeurON 的 precision@5 达到 41.4%，且在 200 对 QA 对中成功提取至少一个相关元组的比例为 83.0%，在覆盖率方面优于 NeuralOpenIE。
• 硬约束（句法和跨度有效性）与软约束（来自现有 KB 的领域相关性）的整合显著提升了输出质量并减少了幻觉现象。
• NeurON 在多样化 cQA 数据上表现出稳健性能，具有高召回率和精确率，适用于现实世界应用中的迭代知识库扩展。
• 案例研究证实，NeurON 可用于人机协同系统中，其中提取的元组经过验证后用于优化未来提取，实现知识库的持续丰富。