[论文解读] Transfer Learning for Scientific Data Chain Extraction in Small Chemical Corpus with BERT-CRF Model

Na Pang, Qian Li+2 more|arXiv (Cornell University)|May 13, 2019

Advanced Text Analysis Techniques参考文献 17被引用 5

一句话总结

本文提出一种在小型新标注化学语料上微调的 BERT-CRF 模型，用于提取七类关键实体——化合物、溶剂、方法、键、反应、pKa 和 pKa 值——及其关系，实现科学数据链构建。联合实体与关系抽取方法在 Chemical Special Corpus 上达到最先进性能，证明了在低资源化学 NLP 设置下迁移学习的强大有效性。

ABSTRACT

Computational chemistry develops fast in recent years due to the rapid growth and breakthroughs in AI. Thanks for the progress in natural language processing, researchers can extract more fine-grained knowledge in publications to stimulate the development in computational chemistry. While the works and corpora in chemical entity extraction have been restricted in the biomedicine or life science field instead of the chemistry field, we build a new corpus in chemical bond field annotated for 7 types of entities: compound, solvent, method, bond, reaction, pKa and pKa value. This paper presents a novel BERT-CRF model to build scientific chemical data chains by extracting 7 chemical entities and relations from publications. And we propose a joint model to extract the entities and relations simultaneously. Experimental results on our Chemical Special Corpus demonstrate that we achieve state-of-art and competitive NER performance.

研究动机与目标

• 通过创建一个新领域特定的数据集，解决计算化学中标注化学语料稀缺的问题，用于化学实体及其关系的标注。
• 开发一种迁移学习方法，有效从有限的化学文本语料中提取细粒度科学数据。
• 构建一个联合模型，实现化学实体及其关系的同步抽取，以支持科学数据链构建。
• 在小型专业化化学语料上，利用 BERT-CRF 实现命名实体识别（NER）的最先进性能。

提出的方法

• 构建了一个新的化学语料——Chemical Special Corpus，包含七类实体：化合物、溶剂、方法、键、反应、pKa 和 pKa 值，用于科学数据链抽取的标注。
• 在语料上微调 BERT-CRF 模型，执行命名实体识别的序列标注，利用 BERT 的上下文嵌入。
• 设计了一个联合模型，实现实体及其关系的同步抽取，提升端到端数据链构建效果。
• 通过使用预训练权重初始化 BERT 编码器并在小规模化学语料上进行微调，应用迁移学习以提升泛化能力。
• 在 BERT 之上使用 CRF 层以建模标签依赖关系，提升序列标注的准确性。
• 在 Chemical Special Corpus 上评估该方法，性能通过标准 NER 指标（如 F1 分数）进行衡量。

实验结果

研究问题

• RQ1 在标注数据有限的小型专业化化学语料上，BERT-CRF 模型能否在命名实体识别中实现高性能？
• RQ2 与传统模型相比，使用 BERT 的迁移学习在化学领域科学数据链抽取中的有效性如何？
• RQ3 联合实体与关系抽取能否提升化学出版物中科学数据链的质量与连贯性？
• RQ4 领域特定微调对 BERT 基模型在化学 NLP 任务中的影响如何？

主要发现

• 所提出的 BERT-CRF 模型在 Chemical Special Corpus 上达到最先进性能，命名实体识别优于现有方法。
• 该模型在低资源化学文本上表现出强泛化能力，验证了迁移学习在小规模化学语料中的有效性。
• 联合实体与关系抽取相比流水线方法，提升了数据链的完整性和准确性。
• 化合物、溶剂和方法等关键实体的 F1 分数达到具有竞争力的水平，表明在多种化学实体类型上均表现稳健。
• 结果证实，对领域特定化学文本微调 BERT 显著提升了实体识别质量。
• 本研究通过迁移学习为计算化学中的科学数据链抽取建立了新基准。