[论文解读] Question Answering with Subgraph Embeddings

Antoine Bordes, Sumit Chopra+1 more|arXiv (Cornell University)|Jun 14, 2014

Topic Modeling参考文献 12被引用 119

一句话总结

本文提出了一种问答系统，利用子图嵌入来表示知识库路径和答案候选，从而实现无需人工设计特征的准确端到端学习。通过学习词和知识库实体的低维向量表示，并对问题与结构化子图路径进行打分，该模型在WebQuestions数据集上实现了最先进性能，F1分数达到43.2%（Yao）和41.8%（集成）。

ABSTRACT

This paper presents a system which learns to answer questions on a broad range of topics from a knowledge base using few hand-crafted features. Our model learns low-dimensional embeddings of words and knowledge base constituents; these representations are used to score natural language questions against candidate answers. Training our system using pairs of questions and structured representations of their answers, and pairs of question paraphrases, yields competitive results on a competitive benchmark of the literature.

研究动机与目标

• 开发一种可扩展的、端到端的问答系统，最大限度减少人工设计的组件（如词典、语法或词性标注器）。
• 通过整合候选答案周围知识库子图中的更丰富结构信息，改进先前基于嵌入的模型。
• 使模型能够处理涉及多跳推理路径的复杂问题，而不仅限于直接的实体连接。
• 仅使用问题-答案对和结构化知识库进行监督，实现在开放域问答基准上的竞争力表现。
• 证明子图级别表示相比简单路径或单实体表示，能显著提升答案排序的准确性。

提出的方法

• 该模型使用孪生神经网络架构，联合学习词和知识库组成成分（实体和关系）的低维嵌入。
• 对于每个问题，使用启发式集合选择策略（C2）生成候选答案，该策略优先考虑可能出现在问题中的关系类型，并包含前10种关系类型和2跳路径。
• 通过编码候选答案周围的局部子图结构（包括问题实体到答案的路径及周边关系），丰富答案表示。
• 通过使用学习到的打分函数，计算问题嵌入与答案子图嵌入之间的相似度得分，对每个候选答案进行打分。
• 通过平均同一路径上所有实体的嵌入表示，处理多个答案，使模型能够预测如“大卫·贝克汉姆的孩子是谁？”这类问题的多个答案。
• 训练采用弱监督：使用问题-答案对和问题同义对，避免对昂贵的语义解析标注的需求。

实验结果

研究问题

• RQ1 神经网络模型能否仅使用问题-答案对和知识库，无需依赖人工规则或语言特征，来回答复杂的开放域问题？
• RQ2 与简单路径或仅实体表示相比，将候选答案周围的子图结构信息纳入是否能提升答案选择性能？
• RQ3 在未完全监督的情况下，使用弱监督（同义对和QA对）训练的模型能否在WebQuestions等基准上取得具有竞争力的结果？
• RQ4 候选答案集合的选择（如1跳 vs. 2跳 vs. 所有2跳）如何影响模型性能和推理效率？
• RQ5 子图嵌入能否使模型泛化到需要多跳推理、超越直接实体连接的问题？

主要发现

• 所提出的子图嵌入模型在WebQuestions测试集上使用F1 (Yao)指标达到43.2%的F1分数，优于先前最先进方法，包括[14]和[1]。
• 与仅使用1跳答案（C1）相比，采用C2候选选择策略（前10种关系类型和2跳路径）时，模型性能显著提升，F1分数从31.3%提高至43.2%。
• 使用所有2跳候选作为答案集时，性能下降至37.1% F1 (Yao)，表明候选多样性过高会损害排序准确性和模型置信度。
• 采用子图表示和C2策略的模型在P@1上达到40.4%，F1 (Berant)为39.2%，相比[5]的基线模型F1分数高出10多个百分点。
• 将本方法与[2]结合的集成模型达到45.7% F1 (Yao)，表明两者具有互补优势，验证了本模型设计的独特性和泛化能力。
• 消融实验确认子图表示至关重要：若替换为简单路径表示，性能降至36.2% F1 (Yao)，表明局部上下文能增强推理能力。