[论文解读] OpenNRE: An Open and Extensible Toolkit for Neural Relation Extraction

Xu Han, Tianyu Gao+4 more|ArXiv.org|Sep 28, 2019

Topic Modeling参考文献 26被引用 7

一句话总结

OpenNRE 是一个基于 TensorFlow 和 PyTorch 构建的开源、可扩展工具包，为多种设置下的神经关系抽取（NRE）模型提供统一的训练、验证和部署框架，包括句子级、包裹级和 few-shot RE。它支持端到端的流水线任务，如命名实体识别（NER）和实体链接（EL），并包含一个与 Wikidata 对齐的实时在线系统，用于事实抽取，在 SemEval-2010、NYT10 和 FewRel 等基准数据集上的性能可与或优于原始模型。

ABSTRACT

OpenNRE is an open-source and extensible toolkit that provides a unified framework to implement neural models for relation extraction (RE). Specifically, by implementing typical RE methods, OpenNRE not only allows developers to train custom models to extract structured relational facts from the plain text but also supports quick model validation for researchers. Besides, OpenNRE provides various functional RE modules based on both TensorFlow and PyTorch to maintain sufficient modularity and extensibility, making it becomes easy to incorporate new models into the framework. Besides the toolkit, we also release an online system to meet real-time extraction without any training and deploying. Meanwhile, the online system can extract facts in various scenarios as well as aligning the extracted facts to Wikidata, which may benefit various downstream knowledge-driven applications (e.g., information retrieval and question answering). More details of the toolkit and online system can be obtained from http://github.com/thunlp/OpenNRE.

研究动机与目标

• 为解决在监督学习、弱监督学习和 few-shot 学习等多种范式下，缺乏统一、可扩展且高效的神经关系抽取（NRE）模型训练与评估工具包的问题。
• 使研究人员和开发者能够轻松实现、训练和验证自定义 NRE 模型，而无需编写大量胶水代码。
• 提供一个生产就绪的在线系统，支持与 Wikidata 实体对齐的实时、零训练关系抽取。
• 通过同时支持 TensorFlow 和 PyTorch，并支持新模型的插件式集成，确保长期可扩展性和模块化。
• 通过集成命名实体识别（NER）和实体链接（EL）模块，支持端到端的知识挖掘流水线。

提出的方法

• 该工具包为句子级、包裹级和 few-shot 关系抽取任务提供了统一的数据处理、模型训练和评估框架。
• 实现了多种 NRE 模型，包括基于 CNN、BERT 和原型网络的模型，支持实体标记符以及 [CLS] 或基于跨度的输出表示。
• 系统支持两种深度学习主干网络：使用词嵌入和位置嵌入的 CNN，以及使用实体标记微调的 BERT，以提升上下文表示能力。
• 在弱监督学习中，通过实例级注意力机制，实现了基于注意力、对抗性和强化学习的模型。
• 使用预训练模型部署了一个在线系统，支持实时抽取，并通过 TagMe 实现提取实体与 Wikidata 的对齐。
• 该工具包具有模块化和可扩展性，允许开发者通过极少的代码更改插入新模型，并通过 GitHub 进行维护，提供长期支持。

实验结果

研究问题

• RQ1 是否可以构建一个统一的开源工具包，以简化在多种学习范式下对多样化神经关系抽取模型的实现、训练和评估？
• RQ2 OpenNRE 在 SemEval-2010、NYT10 和 FewRel 等标准基准上的性能能否达到或优于原始模型？
• RQ3 在 OpenNRE 流水线中集成 NER 和实体链接模块，对端到端知识挖掘的有效性如何？
• RQ4 是否可以利用 OpenNRE 有效部署一个支持与 Wikidata 对齐的实时、零训练在线系统？
• RQ5 OpenNRE 在支持未来模型集成和长期维护方面的可扩展性和模块化能力如何？

主要发现

• OpenNRE 中的 BERT 模型在 SemEval-2010 Task-8 上达到最先进性能，测试 F1 得分为 88.4，优于 CNN 基线模型。
• 在 Wiki80 few-shot 基准上，BERT-PAIR 模型在 5-way 1-shot 设置下取得 93.2 的 F1 得分，超过原始结果 92.8。
• 在 NYT10 数据集上，CNN-ATT、CNN-ADV 和 CNN-RL 模型的 AUC 分别为 0.333、0.337 和 0.276，与 Lin 等人（2016）和 Feng 等人（2018）的原始结果持平或更优。
• OpenNRE 中基于 BERT 的原型网络在 5-way 1-shot 设置下取得 89.6 的 F1 得分，优于 Han 等人（2018c）报告的原始结果 88.4。
• 在线系统支持快速推理和无缝的 Wikidata 对齐，实现无需模型微调的部署，支持实时关系抽取。
• 该工具包展现出强大的可扩展性和模块化能力，通过社区贡献，可高效集成新模型并实现长期维护。