[论文解读] The Benefits of Word Embeddings Features for Active Learning in Clinical Information Extraction

Mahnoosh Kholghi, Lance De Vine+3 more|arXiv (Cornell University)|Jul 11, 2016

Topic Modeling参考文献 9被引用 9

一句话总结

本文提出在主动学习框架中整合无监督词嵌入与人工设计特征，用于临床信息抽取，显著减少了标注工作量。通过结合skip-gram词嵌入与序列表示，并采用多种不确定性采样策略，该方法在两个临床数据集上相较基线方法，将概念标注率降低了最多10%，token标注率降低了9%。

ABSTRACT

This study investigates the use of unsupervised word embeddings and sequence features for sample representation in an active learning framework built to extract clinical concepts from clinical free text. The objective is to further reduce the manual annotation effort while achieving higher effectiveness compared to a set of baseline features. Unsupervised features are derived from skip-gram word embeddings and a sequence representation approach. The comparative performance of unsupervised features and baseline hand-crafted features in an active learning framework are investigated using a wide range of selection criteria including least confidence, information diversity, information density and diversity, and domain knowledge informativeness. Two clinical datasets are used for evaluation: the i2b2/VA 2010 NLP challenge and the ShARe/CLEF 2013 eHealth Evaluation Lab. Our results demonstrate significant improvements in terms of effectiveness as well as annotation effort savings across both datasets. Using unsupervised features along with baseline features for sample representation lead to further savings of up to 9% and 10% of the token and concept annotation rates, respectively.

研究动机与目标

• 通过在主动学习中利用无监督词嵌入，减少临床信息抽取中的手动标注成本。
• 评估词嵌入是否相比传统人工设计特征能提升样本选择的有效性。
• 研究无监督特征与人工设计特征结合对标注效率和模型性能的影响。
• 在临床NLP背景下，评估多种不确定性采样标准——最小置信度、信息多样性、信息密度和领域知识信息量——的表现。
• 在两个真实临床数据集i2b2/VA 2010和ShARe/CLEF 2013上验证该方法的有效性。

提出的方法

• 该方法使用在临床文本上训练的skip-gram词嵌入，生成词的密集分布式表示。
• 通过结合词嵌入与上下文特征，构建序列级表示，以建模句子级上下文。
• 通过将无监督词嵌入与传统人工设计特征（如词性标注和句法模式）拼接，生成混合特征表示。
• 主动学习采用多种标准（最小置信度、信息多样性、信息密度和领域知识信息量）选择最具信息量的样本。
• 模型在最具信息量的样本上迭代重新训练，从而减少对全量标注数据的依赖。
• 使用F1分数和标注效率指标，在两个临床数据集上评估模型性能。

实验结果

研究问题

• RQ1 将词嵌入整合到主动学习中，是否相比基线人工设计特征能提升临床信息抽取的有效性？
• RQ2 词嵌入在多大程度上减少了达到目标性能水平所需的标注数量？
• RQ3 在临床文本中，不同不确定性采样策略与词嵌入结合时表现如何？
• RQ4 无监督特征与人工设计特征的整合是否能带来比单独使用任一方法更高的标注效率？
• RQ5 词嵌入的优势在不同临床文本数据集之间具有多大程度的泛化能力？

主要发现

• 将词嵌入与人工设计特征结合，相比基线方法，将概念标注率最高降低了10%。
• 在主动学习中使用混合特征表示时，token级别的标注工作量最高降低了9%。
• 词嵌入与主动学习的结合在i2b2/VA 2010和ShARe/CLEF 2013数据集上，均以更少的标注样本实现了更高的F1分数。
• 信息多样性和领域知识信息量标准在与词嵌入结合时表现出特别有效的效果。
• skip-gram词嵌入在捕捉临床相关语义模式方面优于静态词表示。
• 混合特征方法在所有测试的不确定性采样策略中均持续提升了模型性能。