[论文解读] Team EP at TAC 2018: Automating data extraction in systematic reviews of environmental agents

Artur Nowak, Paweł Kunstman|arXiv (Cornell University)|Jan 7, 2019

Topic Modeling参考文献 14被引用 4

一句话总结

本论文提出了一种基于深度学习的序列标注系统，采用交错式、交替的LSTM-CRF架构，并结合GloVe与ELMo嵌入，用于环境因素系统综述中的自动化数据提取。在修正提交错误后，模型在TAC 2018 SRIE赛道任务1中取得了67.35%的micro-F1分数，排名第一，尽管训练数据集仅包含100篇文档。

ABSTRACT

We describe our entry for the Systematic Review Information Extraction track of the 2018 Text Analysis Conference. Our solution is an end-to-end, deep learning, sequence tagging model based on the BI-LSTM-CRF architecture. However, we use interleaved, alternating LSTM layers with highway connections instead of the more traditional approach, where last hidden states of both directions are concatenated to create an input to the next layer. We also make extensive use of pre-trained word embeddings, namely GloVe and ELMo. Thanks to a number of regularization techniques, we were able to achieve relatively large capacity of the model (31.3M+ of trainable parameters) for the size of training set (100 documents, less than 200K tokens). The system's official score was 60.9% (micro-F1) and it ranked first for the Task 1. Additionally, after rectifying an obvious mistake in the submission format, the system scored 67.35%.

研究动机与目标

• 自动化环境因素系统综述中的数据提取，以减少人工工作量并加速证据综合。
• 解决从暴露、剂量和终点等实验设计因素中提取复杂、重叠且不连续提及的挑战。
• 开发一种能够处理低资源、高变异性生物医学文本的鲁棒序列标注模型，涵盖24种类别的实体。
• 评估架构选择、数据增强和预训练嵌入在低资源设置下的性能影响。

提出的方法

• 采用自定义的BI-LSTM-CRF架构，使用交替的、交错的LSTM层，而非拼接双向隐藏状态。
• 集成来自GloVe和ELMo的预训练词嵌入，并在PubMed数据上微调ELMo以提升领域适应性。
• 应用广泛的正则化技术，包括dropout和早停法，以管理仅100篇文档的小型训练集上的过拟合问题。
• 通过往返翻译实现数据增强，以提升训练多样性并改善泛化能力。
• 采用注意力机制和隐藏状态传播实现句子级和文档级上下文建模，但效果未达最优。
• 通过系统性地移除组件（如高速公路连接、重叠处理、ELMo微调）进行消融研究，以评估其影响。

实验结果

研究问题

• RQ1 在低资源生物医学序列标注任务中，交替式LSTM架构与标准堆叠式LSTM相比表现如何？
• RQ2 在环境系统综述中，ELMo和GloVe等预训练嵌入在罕见和复杂实体类别上的性能提升程度如何？
• RQ3 在小样本设置下，如反向翻译等数据增强技术对模型泛化能力的影响如何？
• RQ4 为何尽管具有直观价值，文档级上下文建模技术仍未能提升性能？
• RQ5 在高变异性、低资源的NLP任务中，架构选择与正则化策略如何影响模型容量与泛化能力？

主要发现

• 在修正提交格式错误后，系统取得了67.35%的micro-F1分数，在TAC 2018 SRIE赛道任务1中排名第一。
• 尽管仅在100篇文档（约20万词元）上进行训练，由于正则化，模型仍具备超过3100万个可训练参数，表现出高容量。
• 消融研究显示，标准堆叠式LSTM（LSTM-800）在交叉验证中优于自定义的交替架构，尽管测试性能不一致。
• 移除重叠处理机制（NO-OVERLAPS）导致F1分数显著下降（从67.35%降至66.47%），表明其对不连续提及的重要性。
• 通过翻译实现的数据增强（NO-TRANSLATIONS）影响小于预期，表明在此特定设置下收益有限。
• 在PubMed数据上微调ELMo（NO-ELMO-FINETUNING）使性能下降1.93个百分点，表明可能存在领域错位或过拟合。