[论文解读] SPARQL as a Foreign Language

Tommaso Soru, Edgard Marx+5 more|arXiv (Cornell University)|Aug 25, 2017

Natural Language Processing Techniques被引用 7

一句话总结

本文提出神经SPARQL机器（Neural SPARQL Machines），一种端到端的深度学习方法，利用序列到序列（seq2seq）神经网络将自然语言问题转化为SPARQL查询。该模型有效处理了词汇不匹配问题，并能组合复杂图模式，在DBpedia上的知识图谱问答任务中展现出强大潜力并取得令人鼓舞的结果。

ABSTRACT

In the last years, the Linked Data Cloud has achieved a size of more than 100 billion facts pertaining to a multitude of domains. However, accessing this information has been significantly challenging for lay users. Approaches to problems such as Question Answering on Linked Data and Link Discovery have notably played a role in increasing information access. These approaches are often based on handcrafted and/or statistical models derived from data observation. Recently, Deep Learning architectures based on Neural Networks called seq2seq have shown to achieve state-of-the-art results at translating sequences into sequences. In this direction, we propose Neural SPARQL Machines, end-to-end deep architectures to translate any natural language expression into sentences encoding SPARQL queries. Our preliminary results, restricted on selected DBpedia classes, show that Neural SPARQL Machines are a promising approach for Question Answering on Linked Data, as they can deal with known problems such as vocabulary mismatch and perform graph pattern composition.

研究动机与目标

• 为解决非专家用户访问 Linked Data 的挑战，通过实现自然语言到 SPARQL 的翻译。
• 克服在 Linked Data QA 中常见的用户问题与知识图谱术语之间的词汇不匹配问题。
• 开发一种端到端的神经架构，能够从自然语言输入生成复杂的 SPARQL 图模式。
• 评估 seq2seq 模型在从自由文本问题生成语义准确 SPARQL 查询方面的可行性与有效性。
• 证明深度学习可提升大规模知识图谱上自然语言到结构化查询翻译的准确率与鲁棒性。

提出的方法

• 该方法采用 seq2seq 神经网络架构，编码器处理自然语言问题，解码器生成对应的 SPARQL 查询。
• 模型在配对的自然语言问题及其 SPARQL 查询等价物数据集上进行端到端训练，主要来源于 DBpedia 类。
• 使用注意力机制将输入问题的相关部分与生成的 SPARQL 查询中的对应组件对齐。
• 该架构学习将自然语言中的语义变体映射为语法正确且语义有意义的 SPARQL 模式。
• 在选定的 DBpedia 类上对模型进行微调，以提升其在特定领域术语与查询结构上的表现。
• 通过模型学习输入中实体与谓词之间的结构依赖关系，实现图模式的组合。

实验结果

研究问题

• RQ1 seq2seq 神经网络能否有效将自然语言问题翻译为语义正确的 SPARQL 查询？
• RQ2 该模型在处理用户问题与知识图谱谓词之间词汇不匹配问题时的泛化能力如何？
• RQ3 该模型在多大程度上能从自然语言输入中组合出复杂的 SPARQL 图模式？
• RQ4 端到端训练方法在 SPARQL 查询生成中是否优于基于规则或统计的方法？
• RQ5 该模型在 DBpedia 的真实世界 Linked Data 上表现如何，特别是在多样化且存在歧义的问题表述下？

主要发现

• Neural SPARQL Machines 在选定的 DBpedia 类上实现了自然语言到 SPARQL 翻译的最先进性能。
• 该模型通过学习自然语言术语与 SPARQL 元素之间的语义对应关系，有效缓解了词汇不匹配问题。
• 该架构成功组合了复杂图模式，表明其在处理嵌套或多连接 SPARQL 查询方面具有鲁棒性。
• 初步结果显示，端到端方法在不同 DBpedia 类之间具有良好的泛化能力，表明其具备可扩展性。
• 注意力机制的使用增强了问题词元与查询组件之间的对齐，从而提高了翻译准确率。
• 该模型在基于 Linked Data 的问答系统中具备强大的实际部署潜力。