[论文解读] Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Apr 13, 2020

Topic Modeling参考文献 92被引用 21

一句话总结

本文提出一种结合节点级复制机制的双向图2序列（Graph2Seq）模型，用于从知识图谱（KG）子图生成自然语言问题，有效保留结构与属性信息。该方法在两个基准数据集上优于先前方法，取得最先进性能，并通过数据增强显著提升知识库问答（KBQA）效果。

ABSTRACT

Knowledge graph (KG) question generation (QG) aims to generate natural language questions from KGs and target answers. Previous works mostly focus on a simple setting which is to generate questions from a single KG triple. In this work, we focus on a more realistic setting where we aim to generate questions from a KG subgraph and target answers. In addition, most of previous works built on either RNN-based or Transformer based models to encode a linearized KG sugraph, which totally discards the explicit structure information of a KG subgraph. To address this issue, we propose to apply a bidirectional Graph2Seq model to encode the KG subgraph. Furthermore, we enhance our RNN decoder with node-level copying mechanism to allow directly copying node attributes from the KG subgraph to the output question. Both automatic and human evaluation results demonstrate that our model achieves new state-of-the-art scores, outperforming existing methods by a significant margin on two QG benchmarks. Experimental results also show that our QG model can consistently benefit the Question Answering (QA) task as a mean of data augmentation.

研究动机与目标

• 解决现有知识图谱问题生成（KG-QG）方法仅关注单个三元组或线性化子图的局限性，避免丢失丰富的结构信息。
• 通过基于图的编码器利用KG子图的完整结构与属性信息，提升问题生成质量。
• 通过直接复制KG子图中的实体属性（如实体名称）到生成问题中，提升事实准确性与语言流畅性。
• 评估所提QG模型作为知识库问答（KBQA）数据增强技术的有效性。
• 探究节点/边嵌入初始化方式以及答案表示对问题生成性能的影响。

提出的方法

• 采用双向图2Seq模型编码KG子图，利用图神经网络（GNN）捕捉结构依赖关系，而非传统序列编码器。
• 引入节点级复制机制，允许直接将输入KG子图中的节点属性（如实体名称）复制到生成的问题中，提升事实一致性。
• 节点与边嵌入采用预训练的BERT表示及关系特定嵌入进行初始化，以捕捉语义与关系信息。
• 模型采用带有覆盖机制与注意力机制的RNN解码器，逐 token 生成问题，并关注子图中的相关组件。
• 通过关系感知的消息传递机制处理多关系图，保留边的特定语义。
• 通过标记向量编码答案信息，指示某节点是否为目标答案，引导问题关注重点。

实验结果

研究问题

• RQ1 基于图的编码器是否能在多跳KG问题生成中比序列编码器更有效地捕捉结构信息？
• RQ2 节点级复制机制是否能通过直接整合实体属性，提升生成问题的事实准确性与流畅性？
• RQ3 在KG子图上训练的QG模型在多大程度上可通过数据增强提升下游KBQA性能？
• RQ4 不同的节点与边嵌入初始化策略对生成问题质量有何影响？
• RQ5 答案感知表示能否提升生成问题的相关性与焦点准确性？

主要发现

• 所提出的G2S+AE模型在两个公开的KG-QG基准上达到新的最先进性能，显著优于现有方法。
• 模型性能对节点与边嵌入初始化方式高度敏感，BERT-based初始化表现最佳。
• 节点级复制机制提升了事实一致性，表现为BLEU与ROUGE分数更高，且在人类评估中实体提及准确率更优。
• 该模型持续提升KBQA性能，尤其在训练数据稀缺时效果显著——在5%与10%数据比例下取得最大的F1分数提升。
• 使用G2S+AE生成的问题进行数据增强，相比使用基于Transformer的QG模型生成的问题，能更显著提升BAMnet KBQA基线的F1分数。
• 覆盖机制未提升性能，可能因过度鼓励关注无关的子图元组，提示需要更具有选择性的注意力机制。