[论文解读] Seq2RDF: An end-to-end application for deriving Triples from Natural Language Text

Yue Liu, Tongtao Zhang+3 more|arXiv (Cornell University)|Jul 4, 2018

Topic Modeling参考文献 5被引用 15

一句话总结

本文提出 Seq2RDF，一种端到端神经模型，利用带有注意力机制和预训练知识图谱嵌入的编码器-解码器架构，将自然语言句子映射为结构化的 RDF 三元组。该模型通过联合学习实体链接和关系分类，避免了流水线方法中的误差传播，在 Wiki-DBpedia 数据集上实现了高达 84.3 的 F1 分数，达到当前最先进水平。

ABSTRACT

We present an end-to-end approach that takes unstructured textual input and generates structured output compliant with a given vocabulary. Inspired by recent successes in neural machine translation, we treat the triples within a given knowledge graph as an independent graph language and propose an encoder-decoder framework with an attention mechanism that leverages knowledge graph embeddings. Our model learns the mapping from natural language text to triple representation in the form of subject-predicate-object using the selected knowledge graph vocabulary. Experiments on three different data sets show that we achieve competitive F1-Measures over the baselines using our simple yet effective approach. A demo video is included.

研究动机与目标

• 自动化将非结构化文本转换为符合给定知识图谱词汇表的结构化 RDF 三元组。
• 消除流水线方法中固有的误差传播问题，这些方法将实体链接和关系分类分离开来处理。
• 开发一种统一的、端到端的序列到序列模型，从文本中学习语义解析，生成主语-谓语-宾语三元组。
• 通过在编码器和解码器中整合预训练的词嵌入和基于 TransE 的知识图谱嵌入，提升性能。
• 证明在无需中间特征工程或复杂架构修改的情况下，联合生成三元组的可行性和有效性。

提出的方法

• 该模型采用编码器-解码器框架，使用双向 LSTM 网络对输入句子进行编码，并以主语-谓语-宾语格式解码目标三元组。
• 应用注意力机制，使解码器在解码过程中能够关注输入序列的相关部分，从而提升对齐效果和上下文感知能力。
• 使用预训练的词嵌入初始化编码器的嵌入矩阵，使用基于 TransE 的知识图谱嵌入初始化解码器的嵌入矩阵，以增强语义表示。
• 通过带权重的交叉熵损失函数，最大化给定输入文本下三元组序列的条件概率，采用序列损失函数。
• 解码器以逐 token 的方式生成三元组，为每个主语、谓语和宾语分别设置独立的注意力头，以建模输出结构中的依赖关系和约束。
• 通过在训练集上进行 10 折交叉验证，对超参数进行调优，以优化 F1 分数。

实验结果

研究问题

• RQ1 端到端的序列到序列模型是否能有效从自然语言中生成 RDF 三元组，而无需依赖独立的实体链接和关系分类组件？
• RQ2 与标准嵌入相比，集成预训练的知识图谱嵌入在多大程度上提升了三元组生成的性能？
• RQ3 注意力机制在多大程度上增强了模型将文本片段对齐到三元组中主语、谓语和宾语角色的能力？
• RQ4 与结合了当前最先进实体链接和关系分类系统的流水线基线相比，所提出的模型在性能上表现如何？
• RQ5 该模型的主要失败模式是什么？未登录词实体和重叠关系如何影响其准确性？

主要发现

• 所提出的 Seq2RDF 模型在 Wiki-DBpedia 数据集上实现了 84.3 的 F1 测量值，显著优于流水线基线方法。
• 表现最佳的配置（S+A+W+G）结合了注意力机制、词嵌入和知识图谱嵌入，在 Wiki-DBpedia 上实现了 84.3 的 F1 分数，而基于 GRU 的流水线基线仅为 67.0。
• 该模型通过在一个解码过程中联合学习实体和关系预测，减少了误差传播，而流水线方法则按顺序处理这些任务。
• 在解码器中使用预训练的基于 TransE 的嵌入表示实体和关系，显著提升了所有数据集上的性能，证明了融入知识图谱语义的价值。
• 常见错误源于未登录词实体以及文本中模糊或重叠的关系，表明模型在处理罕见或一词多义术语方面仍存在局限性。
• 该模型在三个不同数据集（NYT、ADE 和 Wiki-DBpedia）上均取得了具有竞争力的结果，证明了其在不同领域和文本类型间的泛化能力。