[论文解读] Numerical Atrribute Extraction from Clinical Texts

P R Sarath, Sunil Mandhan+1 more|arXiv (Cornell University)|Jan 1, 2015

Natural Language Processing Techniques参考文献 1被引用 3

一句话总结

本文提出了一种两阶段系统，通过基于CRF的命名实体识别（NER）和基于SVM的关系抽取，从临床出院摘要中提取数值属性及其值。该方法在属性-值提取中达到95%的F1分数，在结合NER与关系抽取时达到87%的F1分数，凸显了在医疗NLP中分词和类别平衡的重要性。

ABSTRACT

This paper describes about information extraction system, which is an extension of the system developed by team Hitachi for "Disease/Disorder Template filling" task organized by ShARe/CLEF eHealth Evolution Lab 2014. In this extension module we focus on extraction of numerical attributes and values from discharge summary records and associating correct relation between attributes and values. We solve the problem in two steps. First step is extraction of numerical attributes and values, which is developed as a Named Entity Recognition (NER) model using Stanford NLP libraries. Second step is correctly associating the attributes to values, which is developed as a relation extraction module in Apache cTAKES framework. We integrated Stanford NER model as cTAKES pipeline component and used in relation extraction module. Conditional Random Field (CRF) algorithm is used for NER and Support Vector Machines (SVM) for relation extraction. For attribute value relation extraction, we observe 95% accuracy using NER alone and combined accuracy of 87% with NER and SVM.

研究动机与目标

• 解决从非结构化出院摘要中提取数值临床属性（如血压、血糖）及其相关值的挑战。
• 通过结构化临床数值信息，提高非专业用户对电子健康记录（EHR）数据的可访问性和可解释性。
• 开发一个结合NER与关系抽取的稳健流水线，以在临床文本中实现准确的属性-值配对。
• 研究特征工程和数据分布对临床NLP任务中模型性能的影响。

提出的方法

• 使用Stanford NLP库在人工标注的出院摘要上训练基于CRF的NER模型，以识别数值属性和值。
• 通过正则表达式进行预处理，以纠正分词问题，特别是像'WBC-12.8'这样的连字符术语。
• 将Stanford NER模型作为Apache cTAKES框架中的流水线组件进行集成，实现端到端处理。
• 采用基于SVM的关系抽取模块，利用句法和上下文特征将提取的属性与其对应值关联。
• 特征工程包括词性标注、短语分块、属性存在性以及属性-值对之间的词元距离。
• 使用CLEF eHealth 2014数据的100个训练/36个测试样本划分进行模型训练与评估，评估采用严格的字符串级匹配。

实验结果

研究问题

• RQ1 基于CRF的NER模型在从临床出院摘要中提取数值属性和值方面的有效性如何？
• RQ2 特定特征（如词性、距离和属性存在性）对关系抽取准确率有何影响？
• RQ3 数据不平衡如何影响SVM在临床文本中关系抽取的性能？
• RQ4 与仅使用NER相比，结合NER与关系抽取能否提高整体属性-值配对的准确性？
• RQ5 预处理，特别是分词校正，对下游NLP组件性能的影响有多大？

主要发现

• 基于CRF的NER模型在属性和值提取中达到95%的F1分数，表现出高精度与高召回率。
• 结合NER与基于SVM的关系抽取的系统整体F1分数达到87%，表明关系建模可提升配对准确性，优于仅使用NER。
• 分词不当，特别是像'WBC-12.8'这样的连字符术语，若未经正则表达式预处理校正，会显著降低性能。
• 训练数据中存在严重的类别不平衡（负样本占主导），导致SVM最初将所有测试实例误分类为负类。
• 在对训练数据进行重平衡后，SVM模型性能显著提升，凸显了数据分布对临床NLP监督学习的关键作用。