[论文解读] Summarizing Patients Problems from Hospital Progress Notes Using Pre-trained Sequence-to-Sequence Models

Yanjun Gao, Dmitriy Dligach+4 more|PubMed|Aug 17, 2022

Topic Modeling参考文献 18被引用 15

一句话总结

本文提出了一项新颖的NLP任务，即使用预训练的序列到序列模型从医院病程记录中总结患者问题。结果表明，经过领域自适应预训练微调的T5模型在基于MIMIC-III的新语料库上进行临床问题列表摘要任务时，显著优于基于规则和通用领域模型，达到了最先进性能。

ABSTRACT

Automatically summarizing patients' main problems from daily progress notes using natural language processing methods helps to battle against information and cognitive overload in hospital settings and potentially assists providers with computerized diagnostic decision support. Problem list summarization requires a model to understand, abstract, and generate clinical documentation. In this work, we propose a new NLP task that aims to generate a list of problems in a patient's daily care plan using input from the provider's progress notes during hospitalization. We investigate the performance of T5 and BART, two state-of-the-art seq2seq transformer architectures, in solving this problem. We provide a corpus built on top of progress notes from publicly available electronic health record progress notes in the Medical Information Mart for Intensive Care (MIMIC)-III. T5 and BART are trained on general domain text, and we experiment with a data augmentation method and a domain adaptation pre-training method to increase exposure to medical vocabulary and knowledge. Evaluation methods include ROUGE, BERTScore, cosine similarity on sentence embedding, and F-score on medical concepts. Results show that T5 with domain adaptive pre-training achieves significant performance gains compared to a rule-based system and general domain pre-trained language models, indicating a promising direction for tackling the problem summarization task.

研究动机与目标

• 通过自动总结每日病程记录中的患者问题，解决医院环境中信息过载和认知过载的问题。
• 提出一项新的知识密集型摘要任务，聚焦于临床诊断推理，要求对复杂临床信息进行抽象。
• 评估最先进序列到序列模型（T5和BART）在这一新型问题列表摘要任务上的表现。
• 通过使用医学文本进行领域自适应预训练和数据增强，提升模型性能。
• 为未来基于NLP的临床诊断决策支持研究建立基准。

提出的方法

• 该任务被定义为序列到序列文本生成任务，输入为病程记录，输出为患者问题的简洁列表。
• 作者使用MIMIC-III电子健康记录数据集，提取并标注了重症监护病房病程记录的一个子集，用于生成问题列表。
• 在标注语料上对T5和BART模型进行微调，并通过实验比较通用领域预训练与领域自适应预训练（DAPT）的效果。
• 应用一种数据增强方法，以增加训练数据中对医学术语和临床概念的暴露。
• 使用ROUGE、BERTScore、句向量余弦相似度以及医学概念的F-score对模型进行评估。
• 在消融研究中，将病程记录中的“客观”部分（包含检验值和结构化数据）纳入输入，以评估其对摘要质量的影响。

实验结果

研究问题

• RQ1 像T5和BART这样的预训练序列到序列模型能否有效总结临床病程记录中的患者问题？
• RQ2 与通用领域预训练相比，领域自适应预训练是否能提升模型在临床问题列表摘要任务上的性能？
• RQ3 不同输入配置（如是否包含客观部分）如何影响摘要质量？
• RQ4 自动化指标如ROUGE和BERTScore与临床相关的医学概念召回率之间的相关性如何？
• RQ5 当前模型在捕捉疾病与检验值关联及临床推理方面存在哪些局限性？

主要发现

• 经过领域自适应预训练（DAPT）微调的T5模型在问题列表摘要任务上，显著优于基于规则的系统和通用领域预训练模型。
• 采用DAPT微调的模型在医学概念上的F-score表现更优，表明其对临床相关诊断的捕捉能力更强。
• 将病程记录的“客观”部分（如检验结果）纳入输入后，模型往往直接提取原始检验值而非生成诊断摘要，表明结构化数据的整合仍需改进。
• ROUGE和BERTScore指标与临床相关性表现出中等程度的相关性，但基于证据的评估仍具挑战性。
• 结果表明，当前模型在理解症状、药物与疾病之间关联方面仍存在困难，凸显了临床推理方面的关键差距。
• 本研究强调了公平性审计的必要性，因为训练数据可能隐含社会和语言偏见，可能影响模型的公平性。