[论文解读] RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information

Shikhar Vashishth, Rishabh Joshi+3 more|arXiv (Cornell University)|Dec 11, 2018

Topic Modeling参考文献 27被引用 24

一句话总结

RESIDE 是一种神经关系抽取模型，通过引入实体类型和关系别名等辅助信息，利用软约束机制改进弱监督关系抽取。它使用图卷积网络（GCN）编码句法结构，在基准数据集上实现了最先进性能，即使在辅助信息有限的情况下也表现出色，证明了合理整合辅助信息的有效性。

ABSTRACT

Distantly-supervised Relation Extraction (RE) methods train an extractor by automatically aligning relation instances in a Knowledge Base (KB) with unstructured text. In addition to relation instances, KBs often contain other relevant side information, such as aliases of relations (e.g., founded and co-founded are aliases for the relation founderOfCompany). RE models usually ignore such readily available side information. In this paper, we propose RESIDE, a distantly-supervised neural relation extraction method which utilizes additional side information from KBs for improved relation extraction. It uses entity type and relation alias information for imposing soft constraints while predicting relations. RESIDE employs Graph Convolution Networks (GCN) to encode syntactic information from text and improves performance even when limited side information is available. Through extensive experiments on benchmark datasets, we demonstrate RESIDE's effectiveness. We have made RESIDE's source code available to encourage reproducible research.

研究动机与目标

• 为解决弱监督关系抽取的局限性，即仅依赖知识库中的噪声训练样本。
• 探索知识库中尚未被充分利用的辅助信息（如实体类型和关系别名）在提升关系抽取性能方面的潜力。
• 设计一种神经模型，以系统化方式整合辅助信息，在关系预测过程中施加软约束。
• 评估辅助信息（尤其是关系别名）在低资源设置下提升模型鲁棒性与性能的有效性。

提出的方法

• RESIDE 采用双流编码机制：使用 Bi-GRU 编码上下文词嵌入，利用图卷积网络（GCN）建模依存解析生成的句法依赖关系。
• 通过词级别注意力机制，将标记级表示聚合为句子级表示。
• 将实体类型和关系别名信息进行嵌入，并与句子表示拼接后，用于计算句子级注意力。
• 在关系分类过程中，通过将辅助信息融入注意力和分类层，施加软约束。
• 模型使用 Softmax 分类器预测关系，辅助信息引导预测过程，优先选择语义上合理的关联。
• 采用交叉熵损失端到端训练，将辅助信息作为辅助监督信号整合其中。

实验结果

研究问题

• RQ1 整合实体类型和关系别名辅助信息对弱监督关系抽取性能有何影响？
• RQ2 与标准 RNN 或 CNN 相比，使用图卷积网络进行句法编码在关系抽取中的提升程度如何？
• RQ3 当仅提供有限或无关系别名信息时，RESIDE 的表现如何？
• RQ4 实体类型与关系别名信息在提升模型泛化能力方面，各自贡献如何？
• RQ5 RESIDE 是否能在标准设置和低资源设置下均超越最先进神经基线模型？

主要发现

• RESIDE 在 Riedel 和 GDS 基准数据集上达到最先进性能，各项评估指标均优于 PCNN、PCNN+ATT 和 BGWA。
• 在 Riedel 数据集上，RESIDE 的 P@100 达到 84.0，P@200 为 78.5，P@300 为 75.6，显著优于次优基线 BGWA。
• 消融实验表明，移除 GCN 或辅助信息均导致性能显著下降，验证了两个组件的重要性。
• 即使仅使用一个关系别名（如关系名称本身），RESIDE 仍保持强劲性能，表明其对有限辅助信息具有鲁棒性。
• 当关系别名源自 Wikidata 知识库时，RESIDE 达到最高性能，证实更丰富的辅助信息可提升结果。
• 模型在不同数据包大小（一个、两个或全部句子）下均保持一致性能增益，表明其在多样化训练设置下的有效性。