[论文解读] Named entity recognition in chemical patents using ensemble of contextual language models

Jenny Copara, Nona Naderi+3 more|arXiv (Cornell University)|Jul 24, 2020

Biomedical Text Mining and Ontologies被引用 11

一句话总结

本文提出了一种基于上下文的预训练语言模型集成方法——具体为基于 BERT 的架构，以提升化学专利用名实体识别（NER）性能。通过使用多数投票策略整合多个模型的预测结果，该方法在 ChEMU NER 基准测试中实现了 92.30% 的精确 F1 分数和 96.24% 的宽松 F1 分数，达到当前最优水平，表明集成方法能有效缓解单一模型在处理复杂、长跨度化学实体时的局限性。

ABSTRACT

Chemical patent documents describe a broad range of applications holding key reaction and compound information, such as chemical structure, reaction formulas, and molecular properties. These informational entities should be first identified in text passages to be utilized in downstream tasks. Text mining provides means to extract relevant information from chemical patents through information extraction techniques. As part of the Information Extraction task of the Cheminformatics Elsevier Melbourne University challenge, in this work we study the effectiveness of contextualized language models to extract reaction information in chemical patents. We assess transformer architectures trained on a generic and specialised corpora to propose a new ensemble model. Our best model, based on a majority ensemble approach, achieves an exact F1-score of 92.30% and a relaxed F1-score of 96.24%. The results show that ensemble of contextualized language models can provide an effective method to extract information from chemical patents.

研究动机与目标

• 提升化学专利用名实体识别性能，因文本复杂且常被混淆以保护知识产权。
• 评估上下文语言模型（特别是 BERT 变体）在未进行领域特定预训练的情况下对化学专利用 NER 的有效性。
• 探究集成多个基于 Transformer 的模型是否能提升性能，超越单一模型或传统 CRF 基线。
• 分析错误模式，特别是对长跨度实体（如试剂、催化剂和反应产物）的误分类问题。

提出的方法

• 在 ChEMU NER 数据集上对五种 BERT 基础模型（bert-base-cased、bert-base-uncased、bert-large-cased、bert-large-uncased 和 ChemBERTa）进行微调，用于标记分类任务。
• 采用多数投票集成策略，整合全部五个模型的预测结果，提升鲁棒性并减少单个模型的错误。
• 使用标准 BERT 分词方法与微调流程，对每个实体类别在标注训练集上使用交叉熵损失进行训练。
• 通过精确 F1 分数与宽松 F1 分数评估模型性能，后者允许预测跨度与真实跨度存在部分重叠。
• 在开发集上进行错误分析，识别常见失败模式，特别是针对长跨度或标注不一致的实体。
• 与 CRF 基线及竞赛基线进行对比，建立性能基准。

实验结果

研究问题

• RQ1 基于预训练上下文语言模型的集成是否能在化学专利用 NER 中超越单一模型？
• RQ2 在未进行领域特定预训练的情况下，通用领域 BERT 模型在识别专利中化学实体方面的有效性如何？
• RQ3 化学专利用 NER 中最常见的错误类型是什么，特别是针对长跨度或多词实体？
• RQ4 在多种 BERT 变体之间采用多数投票是否能降低单模型预测的错误率？
• RQ5 为何更大的模型（如 BERT-large）在此 NER 任务中并未始终优于较小模型？

主要发现

• 集成模型在精确 F1 分数上达到 92.30%，宽松 F1 分数达到 96.24%，显著优于 CRF 基线（80.56%）与竞赛基线（88.93%）。
• 该模型在与产率相关的实体识别上表现尤为出色，产率百分比（yield_percent）的 F1 分数高达 99.74%，表明对定义明确术语具有高精度与高召回率。
• 错误分析显示，78.8% 的跨度错误源于预测结果过长，例如在试剂名称中错误地包含了 'aqueous' 或 'concentrated' 等修饰词。
• 最常见的混淆类型为 starting_material 与 reagent_catalyst 之间，以及 reaction_product 与其他_compound 之间，可能由于化学文本中语义重叠所致。
• 较长的实体（特别是 reagent_catalyst、reaction_product 和 starting_material）更容易出错，部分模型（如 bert-large-uncased）甚至完全未能检测到跨度中的任何标记。
• 与单一 BERT 模型相比，集成模型在长跨度实体上的错误率更低，表明结合多样化预测可缓解子词分词带来的局限性。