[论文解读] Neural Graph Embedding Methods for Natural Language Processing

Shikhar Vashishth|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 177被引用 11

一句话总结

本文提出新颖的神经图嵌入方法，以解决知识图谱稀疏性问题并提升自然语言处理任务表现。提出CESI方法，利用实体与关系短语嵌入及辅助信息实现知识图谱的规范化；RESIDE方法，借助知识图谱辅助信息实现弱监督关系抽取；NeuralDater方法，利用句法与时间图卷积网络实现文档时间标注；SynGCN方法，基于依存结构学习词嵌入；ConfGCN方法，实现置信度感知的邻域聚合；CompGCN方法，实现参数高效的多关系图学习——在多个基准测试中取得最先进性能。

ABSTRACT

Knowledge graphs are structured representations of facts in a graph, where nodes represent entities and edges represent relationships between them. Recent research has resulted in the development of several large KGs. However, all of them tend to be sparse with very few facts per entity. In the first part of the thesis, we propose two solutions to alleviate this problem: (1) KG Canonicalization, i.e., identifying and merging duplicate entities in a KG, (2) Relation Extraction which involves automating the process of extracting semantic relationships between entities from unstructured text. Traditional Neural Networks like CNNs and RNNs are constrained to handle Euclidean data. However, graphs in Natural Language Processing (NLP) are prominent. Recently, Graph Convolutional Networks (GCNs) have been proposed to address this shortcoming and have been successfully applied for several problems. In the second part of the thesis, we utilize GCNs for Document Timestamping problem and for learning word embeddings using dependency context of a word instead of sequential context. In this third part of the thesis, we address two limitations of existing GCN models, i.e., (1) The standard neighborhood aggregation scheme puts no constraints on the number of nodes that can influence the representation of a target node. This leads to a noisy representation of hub-nodes which coves almost the entire graph in a few hops. (2) Most of the existing GCN models are limited to handle undirected graphs. However, a more general and pervasive class of graphs are relational graphs where each edge has a label and direction associated with it. Existing approaches to handle such graphs suffer from over-parameterization and are restricted to learning representation of nodes only.

研究动机与目标

• 解决开放知识图谱（KG）中普遍存在的稀疏性问题，即实体关联的关系数量极少（例如，NELL数据集中每个实体仅有1.34条事实）。
• 通过实体规范化与从非结构化文本中抽取关系，提升知识图谱质量，实现图谱的密集化。
• 利用图卷积网络（GCNs）建模自然语言处理任务中的复杂结构，如文档时间标注与词表示学习。
• 克服现有GCN模型的关键局限：中心节点影响范围无界，以及难以有效处理多关系（有向、带标签）图结构。

提出的方法

• 提出CESI（基于嵌入与辅助信息的规范化方法），一种联合学习框架，将名词短语与关系短语进行嵌入，同时结合辅助信息（如实体类型、别名）以聚类并规范化开放知识图谱中的重复实体。
• 提出RESIDE，一种弱监督神经关系抽取模型，利用GCN编码句法结构，并整合辅助信息（如实体类型、关系别名），以提升关系预测的鲁棒性。
• 开发NeuralDater，一种基于GCN的模型，联合编码文档中的句法与时间依赖结构，实现文档时间戳预测，性能达到最先进水平。
• 提出SynGCN，一种基于图卷积的方法，利用依存树结构而非线性上下文学习词嵌入，提升语义表征能力并避免词汇量爆炸。
• 提出ConfGCN，通过估计节点标签的置信度分数并据此动态加权邻居贡献，增强GCN聚合过程，减少中心节点带来的噪声影响。
• 提出CompGCN，一种多关系GCN框架，通过KG嵌入方法中的组合算子联合嵌入实体与关系，采用共享关系嵌入与基分解技术，降低模型过参数化程度。

实验结果

研究问题

• RQ1 如何通过实体规范化与关系抽取，利用神经图嵌入减少开放知识图谱中的稀疏性？
• RQ2 GCN能否有效建模文档中的句法与时间图结构，以提升文档时间标注性能？
• RQ3 基于依存结构的图卷积网络能否在捕捉更丰富的句法语义方面优于基于线性上下文的词嵌入方法？
• RQ4 如何通过引入置信度估计，使GCN聚合过程对中心节点影响更具鲁棒性？
• RQ5 能否设计一种统一且参数高效的框架，实现多关系图中实体与关系的联合嵌入？

主要发现

• CESI通过联合学习嵌入并利用辅助信息，在基准数据集上显著提升实体规范化准确率，优于基线方法。
• RESIDE通过有效利用实体类型、关系别名等辅助信息，在弱监督关系抽取任务中取得最先进性能，即使在监督信号有限的情况下亦表现优异。
• NeuralDater通过GCN联合建模句法与时间图结构，在文档时间戳预测基准上创下新最先进性能。
• SynGCN通过基于依存树结构而非线性上下文学习嵌入，在内在与外在NLP任务中优于现有词嵌入方法，提升语义表征能力。
• ConfGCN通过使用估计的置信度分数动态加权邻居贡献，减少中心节点带来的噪声表示，提升节点分类任务的泛化能力。
• CompGCN得益于共享关系嵌入与基分解技术，在多关系图学习任务中以更少参数实现更优性能，优于现有方法。