[论文解读] Unified Neural Architecture for Drug, Disease and Clinical Entity Recognition

Sunil Kumar Sahu, Ashish Anand|arXiv (Cornell University)|Aug 11, 2017

Biomedical Text Mining and Ontologies被引用 4

一句话总结

该论文提出了一种统一的神经网络架构 CWBLSTM，用于生物医学和临床命名实体识别（NER），通过层次化的双向LSTM（BLSTM）捕捉形态学和上下文特征，并结合一阶条件随机场（CRF）层进行序列标注。该模型在无需使用领域特定特征或外部词典的情况下，在药物NER、疾病NER和临床NER任务上均优于当前最先进方法，证明了字符级嵌入和基于CRF的标签依赖学习的有效性。

ABSTRACT

Most existing methods for biomedical entity recognition task rely on explicit feature engineering where many features either are specific to a particular task or depends on output of other existing NLP tools. Neural architectures have been shown across various domains that efforts for explicit feature design can be reduced. In this work we propose an unified framework using bi-directional long short term memory network (BLSTM) for named entity recognition (NER) tasks in biomedical and clinical domains. Three important characteristics of the framework are as follows - (1) model learns contextual as well as morphological features using two different BLSTM in hierarchy, (2) model uses first order linear conditional random field (CRF) in its output layer in cascade of BLSTM to infer label or tag sequence, (3) model does not use any domain specific features or dictionary, i.e., in another words, same set of features are used in the three NER tasks, namely, disease name recognition (Disease NER), drug name recognition (Drug NER) and clinical entity recognition (Clinical NER). We compare performance of the proposed model with existing state-of-the-art models on the standard benchmark datasets of the three tasks. We show empirically that the proposed framework outperforms all existing models. Further our analysis of CRF layer and word-embedding obtained using character based embedding show their importance.

研究动机与目标

• 开发一种统一的深度学习框架，用于生物医学和临床NER，以减少对任务特定特征工程的依赖。
• 探究字符级嵌入和基于CRF的序列建模对低资源及噪声临床文本中NER性能的影响。
• 评估单一模型架构是否能在不使用领域特定特征或外部词典的情况下，有效处理多样化的实体类型（药物、疾病和临床实体）。
• 分析形态学（字符级）和语义（词级）嵌入在提升NER准确率中的互补作用。

提出的方法

• 该模型采用分层架构，包含两层BLSTM：第一层处理字符序列以学习形态丰富的词表示，第二层处理词级序列以捕捉上下文依赖。
• 词嵌入通过字符级BLSTM后接词级BLSTM学习，实现形态与上下文的联合建模。
• 在输出层使用一阶线性链CRF，以建模序列中标签的依赖关系，提升标注一致性。
• 模型仅以词嵌入和字符嵌入作为输入，不使用任何手工设计的特征、词典或外部工具。
• 该框架在三个标准NER基准数据集上端到端训练：药物NER、疾病NER和临床NER。
• 通过消融实验评估CRF、双向LSTM和字符级嵌入的贡献。

实验结果

研究问题

• RQ1 统一的深度学习模型是否能在不使用任务特定特征或外部知识的情况下，在药物、疾病和临床实体识别中均达到最先进性能？
• RQ2 与标准词嵌入相比，字符级嵌入在捕捉生物医学实体名称中的形态模式方面有何贡献？
• RQ3 通过建模标签依赖关系，基于CRF的序列建模在多大程度上提升了NER性能？
• RQ4 与单向LSTM相比，使用双向LSTM是否在生物医学NER任务中提升了性能？
• RQ5 所学习的字符级和词级嵌入在语义和形态特性上如何不同？

主要发现

• 所提出的CWBLSTM模型在疾病NER上取得83.35的F1分数，在药物NER上取得73.57，在临床NER上取得83.68，优于所有现有最先进模型在对应基准上的表现。
• 移除CRF层（BLSTM+WLL变体）导致疾病NER的F1下降7.5%，药物NER下降3.4%，临床NER下降5.5%，证明了建模标签依赖的重要性。
• 使用双向LSTM替代单向LSTM在疾病NER上使F1提升12.89%，在药物NER上提升4.86%，在临床NER上提升20.83%，凸显了双向上下文的优势。
• 最近邻分析显示，字符级嵌入捕捉了形态相似性（如‘Cefaclor’与‘Cefdinir’），而词级嵌入保留了语义相似性（如‘synergistic’与‘antagonistic’）。
• 该模型在不使用任何领域特定特征、词典或外部NLP工具的情况下实现卓越性能，证明了其在不同实体类型间的泛化能力。
• 平均实体长度（药物为1.2，临床为2.1，疾病为2.2）与CRF带来的性能增益呈正相关，表明较长实体更受益于序列建模。