[论文解读] Query-Focused EHR Summarization to Aid Imaging Diagnosis

Denis Jered McInerney, Borna E. Dabiri+4 more|arXiv (Cornell University)|Apr 9, 2020

Topic Modeling参考文献 23被引用 4

一句话总结

本文提出了一种用于电子健康记录（EHR）的远程监督、查询聚焦型抽取式摘要模型，通过基于潜在诊断（如ICD编码）的临床相关文本片段检索，辅助放射科医生进行医学影像诊断。该模型结合临床BERT与基于Transformer的注意力机制，利用未来ICD编码作为噪声监督信号，识别EHR中的关键内容，在放射科医生的评估中显著优于无监督基线模型。

ABSTRACT

Electronic Health Records (EHRs) provide vital contextual information to radiologists and other physicians when making a diagnosis. Unfortunately, because a given patient's record may contain hundreds of notes and reports, identifying relevant information within these in the short time typically allotted to a case is very difficult. We propose and evaluate models that extract relevant text snippets from patient records to provide a rough case summary intended to aid physicians considering one or more diagnoses. This is hard because direct supervision (i.e., physician annotations of snippets relevant to specific diagnoses in medical records) is prohibitively expensive to collect at scale. We propose a distantly supervised strategy in which we use groups of International Classification of Diseases (ICD) codes observed in 'future' records as noisy proxies for 'downstream' diagnoses. Using this we train a transformer-based neural model to perform extractive summarization conditioned on potential diagnoses. This model defines an attention mechanism that is conditioned on potential diagnoses (queries) provided by the diagnosing physician. We train (via distant supervision) and evaluate variants of this model on EHR data from Brigham and Women's Hospital in Boston and MIMIC-III (the latter to facilitate reproducibility). Evaluations performed by radiologists demonstrate that these distantly supervised models yield better extractive summaries than do unsupervised approaches. Such models may aid diagnosis by identifying sentences in past patient reports that are clinically relevant to a potential diagnosis.

研究动机与目标

• 为解决放射科医生在影像解读过程中因时间不足而难以审阅大量EHR记录的问题。
• 开发一种无需昂贵的直接标注片段相关性，即可生成抽取式、查询聚焦型EHR记录摘要的方法。
• 利用未来ICD编码作为远程监督信号，训练模型以识别潜在诊断相关的临床相关文本片段。
• 评估远程监督模型是否能在临床相关性与实用性方面优于无监督摘要方法。
• 实现在临床诊疗过程中高效、可扩展地获取相关患者病史，尤其适用于放射科。

提出的方法

• 模型使用Clinical BERT联合编码诊断查询（如ICD编码描述）与EHR记录，以获得上下文表示。
• 基于Transformer的架构结合指针机制，通过关注输入句子的查询（诊断）生成抽取式摘要。
• 通过使用未来ICD编码组作为下游诊断的代理标签，应用远程监督来训练模型。
• 模型被训练以预测未来ICD编码组，并利用最高注意力权重作为软评分机制，检索相关文本片段。
• 注意力机制基于查询（诊断）进行条件化，对输入句子生成分布，以识别最相关的句子。
• 开发了用户界面，使放射科医生能够盲评片段相关性，并评估模型输出。

实验结果

研究问题

• RQ1 远程监督模型能否为放射科诊断生成比无监督方法更具临床相关性的EHR摘要？
• RQ2 未来ICD编码在多大程度上可作为有效噪声代理，用于训练查询聚焦型摘要模型？
• RQ3 放射科医生如何评价模型生成摘要在诊断推理中的相关性与实用性？
• RQ4 在未对片段相关性进行直接监督的情况下，基于诊断查询的模型能否检索到关键的EHR内容？
• RQ5 基于诊断查询条件化的Transformer注意力机制是否能提升抽取式摘要性能？

主要发现

• 放射科医生在评估中显著认为，远程监督模型在识别与诊断查询相关的临床EHR片段方面，比无监督基线更具相关性与实用性。
• 该模型的注意力机制有效突出了过去记录中对预测未来诊断具有预测性的句子，即使未对片段相关性进行显式监督。
• 利用未来ICD编码作为远程监督信号，使无需人工标注相关片段即可有效训练查询聚焦型摘要模型成为可能。
• 该模型在自动评估与放射科医生评估中均优于无监督方法，展现出更高的临床实用性。
• 该系统通过从EHR中检索上下文相关的患者病史，展示了在放射科实时、临床点位支持中的可行性。
• 该方法具有可扩展性，可推广至放射科以外的场景，因其仅依赖现有ICD编码，无需任务特定标注。