[论文解读] Pathology Extraction from Chest X-Ray Radiology Reports: A Performance Study

Tahsin Mostafiz, Khalid Ashraf|arXiv (Cornell University)|Dec 6, 2018

Topic Modeling参考文献 11被引用 4

一句话总结

本研究评估了使用医学专用API（MTI、MOD）和通用NLU API（IBM NLU）从胸部X光放射科报告中提取病理术语的表现，发现其性能不佳。研究提出了一种在特定任务放射科语料上微调的自定义深度神经网络（DNN）命名实体识别（NER）模型，该模型在一般病理术语提取中的F1分数达到49.91%，在‘透明度’（opacity）提取中达到82.53%，显著优于所有其他工具，证明了领域特定模型训练相较于现成解决方案的优越性。

ABSTRACT

Extraction of relevant pathological terms from radiology reports is important for correct image label generation and disease population studies. In this letter, we compare the performance of some known application program interface (APIs) for the task of thoracic abnormality extraction from radiology reports. We explored several medical domain specific annotation tools like Medical Text Indexer(MTI) with Non-MEDLINE and Mesh On Demand(MOD) options and generic Natural Language Understanding (NLU) API provided by the IBM cloud. Our results show that although MTI and MOD are intended for extracting medical terms, their performance is worst compared to generic extraction API like IBM NLU. Finally, we trained a DNN-based Named Entity Recognition (NER) model to extract the key concept words from radiology reports. Our model outperforms the medical specific and generic API performance by a large margin. Our results demonstrate the inadequacy of generic APIs for pathology extraction task and establish the importance of domain specific model training for improved results. We hope that these results motivate the research community to release larger de-identified radiology reports corpus for building high accuracy machine learning models for the important task of pathology extraction.

研究动机与目标

• 评估现有公开API（医学专用MTI、MOD和通用IBM NLU）从胸部X光放射科报告中提取病理术语的性能。
• 识别当前医学标注工具的局限性，特别是其产生假阳性和错误分类术语的倾向。
• 开发并验证一种基于深度神经网络的命名实体识别（NER）模型，该模型专门在胸部X光报告数据上进行训练，以提高病理术语提取的准确性。
• 证明针对特定任务的模型训练可显著优于现成的API，即使这些API是为医学文本设计的。
• 倡导发布更大规模、已去标识化的放射科报告语料库，以支持高精度医学NLP任务的机器学习模型开发。

提出的方法

• 本研究使用公开的印第安纳州胸部X光放射科报告数据集作为基准语料库。
• 评估了三种现有API：MTI的Non-MEDLINE和Mesh On Demand（MOD）选项，以及IBM的通用NLU API。
• 使用相同的语料库，通过词嵌入和序列标注技术，端到端训练了一个自定义的DNN-based NER模型，以识别病理术语。
• 该模型针对放射科报告中的关键发现进行了优化，包括处理否定（如“无透明度”）以及区分相似的医学术语。
• 评估指标包括精确率、召回率和F1分数，按病理类别（如透明度、心脏扩大）使用人工标注的基准数据进行计算。
• 进行定性分析以检查模型行为，如检测否定和处理模糊或罕见术语。

实验结果

研究问题

• RQ1 医学专用标注工具（MTI、MOD）和通用NLU API（IBM NLU）在从胸部X光放射科报告中提取病理术语方面的表现如何？
• RQ2 现有医学API在应用于放射科报告时的失败模式是什么，特别是在假阳性以及错误术语映射方面？
• RQ3 在特定任务的放射科报告语料上微调的DNN-based NER模型是否能优于医学专用和通用API在病理术语提取中的表现？
• RQ4 与现成解决方案相比，领域特定的模型训练在多大程度上提升了F1分数？
• RQ5 自定义NER模型在理解临床语境（如否定或语义相似性）方面有哪些关键的定性优势？

主要发现

• DNN-based NER模型在一般病理术语提取中的F1得分为49.91%，显著优于IBM NLU（26.47%）和MTI与MOD组合（15.42%）。
• 在提取‘透明度’（opacity）方面，NER模型的F1得分为82.53%，而IBM NLU仅为12.61%，MTI的两种配置则为0.00%。
• NER模型在‘心脏扩大’（cardiomegaly）上的精确率为90.90%，召回率为28.57%，优于IBM NLU（F1为4.54%）和MTI使用Non-MEDLINE（F1为10.30%），尽管MTI使用MOD配置在该术语上获得了更高的召回率（62.85%）。
• MTI工具在使用Non-MEDLINE和MOD选项时均完全未能提取出‘透明度’，精确率和召回率均为0.00%，表明其在处理某些放射学术语方面存在严重局限性。
• NER模型成功学习到检测否定性术语（如‘无透明度’）并区分语义上相似的术语，而通用和医学专用API则未能一致地做到这一点。
• 研究发现，现有医学API如MTI和MOD经常引入原始报告中不存在的术语——例如将‘CABG’错误分类为‘硝基化合物氢离子’——严重损害了其可靠性。