[论文解读] Open Question Answering with Weakly Supervised Embedding Models

Antoine Bordes, Jason Weston+1 more|arXiv (Cornell University)|Apr 16, 2014

Topic Modeling参考文献 24被引用 86

一句话总结

本文提出了一种弱监督神经嵌入模型，用于开放域问答，能够在无需人工构建语法或词典的情况下，将问题和答案映射到共享向量空间。通过利用自动生成的问题-三元组对和释义数据进行弱监督，并引入一种用于相似度矩阵优化的微调过程，该模型在 WikiAnswers+ReVerb 数据集上实现了最先进性能，即使在 WebQuestions 数据集的零样本设置下，也优于先前的 Paralex 方法。

ABSTRACT

Building computers able to answer questions on any subject is a long standing goal of artificial intelligence. Promising progress has recently been achieved by methods that learn to map questions to logical forms or database queries. Such approaches can be effective but at the cost of either large amounts of human-labeled data or by defining lexicons and grammars tailored by practitioners. In this paper, we instead take the radical approach of learning to map questions to vectorial feature representations. By mapping answers into the same space one can query any knowledge base independent of its schema, without requiring any grammar or lexicon. Our method is trained with a new optimization procedure combining stochastic gradient descent followed by a fine-tuning step using the weak supervision provided by blending automatically and collaboratively generated resources. We empirically demonstrate that our model can capture meaningful signals from its noisy supervision leading to major improvements over paralex, the only existing method able to be trained on similar weakly labeled data.

研究动机与目标

• 在无需人工标注（问题，答案）对或特定模式的语法的情况下，实现开放域问答。
• 仅使用来自自动生成数据和释义信号的弱监督，学习问题和知识库三元组的有意义向量表示。
• 通过一种新颖的嵌入相似度矩阵微调过程，提升模型的泛化能力和性能。
• 在不重新训练的情况下，评估模型在不同知识库和问题集（WebQuestions）上的零样本迁移能力。

提出的方法

• 该模型学习单词和知识库三元组的密集向量嵌入，使得问题嵌入在共享空间中与其对应答案嵌入接近。
• 它使用对比损失目标，使正样本（问题，三元组）对在嵌入空间中更接近，负样本对更远离。
• 弱监督来源于使用基于规则的模板系统对知识库三元组应用后自动生成的问题-三元组对。
• 额外的弱监督来自一个不包含关联答案的释义问题数据集，有助于模型学习语义等价性。
• 通过一个微调步骤，优化嵌入空间中相似度函数的矩阵参数，以提升性能。
• 推理过程中应用字符串匹配，将候选三元组限制在可管理的集合（每个问题约 10,000 个），从而提高效率和召回率。

实验结果

研究问题

• RQ1 仅使用来自自动生成数据的弱监督，神经嵌入模型能否学习到有效的问答表示？
• RQ2 该模型在不重新训练的情况下，能否很好地泛化到不同的知识库和问题集？
• RQ3 对嵌入空间中的相似度矩阵进行微调过程，能否提升开放域问答的性能？
• RQ4 在缺乏显式监督的情况下，该模型在多大程度上能捕捉到诸如同义关系和上下位关系等语义关系？

主要发现

• 当同时使用微调和字符串匹配时，该模型在 WebQuestions 测试集上的 F1 得分为 0.076，显著优于基线嵌入模型（F1 为 0.025）。
• 结合字符串匹配后，微调模型的 Top-1 准确率从 0.032 提升至 0.094，Top-10 准确率从 0.106 提升至 0.270。
• 通过弱监督，该模型学习到了有意义的语义关系，例如同义关系（如 'radiation' 和 'x-ray.e'）和上下位关系（如 'iphone' 和 'smartphone.e'）。
• 即使不重新训练，该模型也能泛化到 WebQuestions 数据集，在 1,538 个问题上实现 Top-1 准确率 0.094，展示了强大的零样本迁移能力。
• 推理过程中使用字符串匹配将候选集从 1,400 万个三元组减少到每个问题约 10,000 个，显著提升了效率和召回率。