[论文解读] NeuroNER: an easy-to-use program for named-entity recognition based on neural networks

Franck Dernoncourt, Ji-Young Lee+1 more|arXiv (Cornell University)|May 15, 2017

Topic Modeling被引用 5

一句话总结

NeuroNER 是一款易于使用的、集成于网页的命名实体识别工具，利用深度神经网络在 NER 任务中实现了最先进性能。它通过与 BRAT 对接，简化了标注-训练-预测的工作流程，使非专家用户能够以极少的技术门槛完成数据标注、模型训练和预测部署，无需超参数调优即可在 CoNLL 2003 数据集上达到 90.5% 的 F1 分数，在 i2b2 2014 数据集上达到 97.7% 的 F1 分数。

ABSTRACT

Named-entity recognition (NER) aims at identifying entities of interest in a text. Artificial neural networks (ANNs) have recently been shown to outperform existing NER systems. However, ANNs remain challenging to use for non-expert users. In this paper, we present NeuroNER, an easy-to-use named-entity recognition tool based on ANNs. Users can annotate entities using a graphical web-based user interface (BRAT): the annotations are then used to train an ANN, which in turn predict entities' locations and categories in new texts. NeuroNER makes this annotation-training-prediction flow smooth and accessible to anyone.

研究动机与目标

• 解决最先进的基于神经网络的 NER 系统中存在的可用性差距，这些系统通常对非专家用户不友好。
• 将命名实体识别与基于网页的标注工具（BRAT）集成，以简化 NER 任务的标注、训练和预测工作流。
• 提供一个完全可访问的开源解决方案，支持从零开始训练和使用预训练模型进行部署。
• 通过人工作标注与神经网络预测之间的交互式反馈循环，使用户能够迭代改进标注质量和模型性能。
• 在基准数据集上实现与最佳公开方法相当的性能，且无需进行超参数优化。

提出的方法

• NeuroNER 使用三层神经网络架构：字符增强的词元嵌入层、标签预测层和标签序列优化层。
• 它利用 TensorFlow 进行训练，并与 TensorBoard 集成，实现实时监控训练过程中的损失、F1 分数和混淆矩阵。
• 系统接受 BRAT 或 CoNLL-2003 格式的数据输入，包含独立的训练集、验证集、测试集和部署集。
• 它支持在用户提供的标注数据上进行微调，也支持使用预训练模型和预训练词嵌入（word2vec 或 GloVe）进行推理。
• 该界面使用户能够可视化预测结果，交互式地改进标注，并迭代重新训练模型以提升性能。
• 支持 GPU 加速，可通过安装脚本在 Linux、Mac OS X 和 Windows 上部署。

实验结果

研究问题

• RQ1 能否通过用户友好的界面使基于神经网络的 NER 系统对非专家用户可访问？
• RQ2 在使用默认超参数的情况下，基于神经网络的 NER 系统性能与最先进方法相比如何？
• RQ3 与 BRAT 的集成在多大程度上能改善 NER 任务的标注和模型训练工作流？
• RQ4 预训练模型和嵌入是否能显著减少 NER 应用中对标注数据和训练时间的需求？
• RQ5 人类标注与神经网络模型重新训练之间的交互式反馈循环在多大程度上能有效提升 NER 准确率？

主要发现

• NeuroNER 在 CoNLL 2003 测试集上实现了 90.5% 的 F1 分数，与最佳公开结果 90.9% 非常接近。
• 在 i2b2 2014 数据集上，NeuroNER 达到了 97.7% 的 F1 分数，与最佳公开结果 97.9% 相当。
• 系统在无需超参数调优的情况下表现具有竞争力，展现出强大的开箱即用性能。
• 通过 TensorBoard 实现实时监控，用户可在训练过程中跟踪训练进度，包括 F1 分数的变化趋势和混淆矩阵。
• 与 BRAT 的集成实现了标注、模型重新训练和预测可视化之间的无缝衔接，显著降低了工作流摩擦。
• 提供了预训练模型和嵌入，使用户无需标注数据或大量训练时间即可部署 NER 系统。