[论文解读] Rethinking Medical Report Generation: Disease Revealing Enhancement with Knowledge Graph

Yixin Wang, Zihao Lin+1 more|arXiv (Cornell University)|Jul 24, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出一种基于知识图谱（KG）增强的两阶段医学报告生成框架，以解决胸部X光报告中疾病分布长尾的问题。通过构建包含137种疾病类型的综合知识图谱，并应用KG引导的数据增强，该方法借助一种新颖的临床评估指标——多样性敏感度（DS），在DS指标上相较基线模型实现25%的相对提升（0.1902），显著增强了对罕见疾病提及的生成能力。

ABSTRACT

Knowledge Graph (KG) plays a crucial role in Medical Report Generation (MRG) because it reveals the relations among diseases and thus can be utilized to guide the generation process. However, constructing a comprehensive KG is labor-intensive and its applications on the MRG process are under-explored. In this study, we establish a complete KG on chest X-ray imaging that includes 137 types of diseases and abnormalities. Based on this KG, we find that the current MRG data sets exhibit a long-tailed problem in disease distribution. To mitigate this problem, we introduce a novel augmentation strategy that enhances the representation of disease types in the tail-end of the distribution. We further design a two-stage MRG approach, where a classifier is first trained to detect whether the input images exhibit any abnormalities. The classified images are then independently fed into two transformer-based generators, namely, ``disease-specific generator" and ``disease-free generator" to generate the corresponding reports. To enhance the clinical evaluation of whether the generated reports correctly describe the diseases appearing in the input image, we propose diverse sensitivity (DS), a new metric that checks whether generated diseases match ground truth and measures the diversity of all generated diseases. Results show that the proposed two-stage generation framework and augmentation strategies improve DS by a considerable margin, indicating a notable reduction in the long-tailed problem associated with under-represented diseases.

研究动机与目标

• 为解决医学报告生成数据集中疾病分布长尾的问题，特别是罕见疾病代表性不足的情况。
• 通过确保对疾病关键词（尤其是罕见疾病）的准确且多样化的提及，提升生成报告的临床相关性。
• 构建一个包含137种胸部X光疾病类型的KG，以建模疾病间关系，并支持数据增强与评估。
• 提出一种新评估指标——多样性敏感度（DS），用于衡量生成报告中疾病提及的准确性和多样性。
• 证明基于临床相关性（由KG指导）进行训练与评估，相较于BLEU等标准n-gram指标，在实际应用中的优越性。

提出的方法

• 从两个公开数据集（IU-Xray和MIMIC-CXR）构建综合知识图谱（KG），整合8大类共137种疾病类型，以建模疾病间关系。
• 设计一种两阶段生成框架：首先，通过分类器判断图像是否包含异常；其次，基于分类结果，使用两个独立的基于Transformer的生成器分别生成“疾病特异性”或“无疾病”报告。
• 提出一种新颖的数据增强策略，利用KG生成低频疾病类别的合成训练样本，以平衡长尾分布。
• 提出多样性敏感度（DS）指标，通过同时衡量真实疾病关键词的召回率与生成报告中疾病提及的多样性，评估模型性能。
• 训练与模型选择基于DS分数，而非BLEU，以优先保障临床准确性而非n-gram匹配度。
• 在IU-Xray数据集上评估该框架，超参数与设置与R2Gen基线保持一致，以确保公平比较。

Figure 1: Illustration of counts of labeled sentences and disease keywords in IU-Xray. Part (a) shows the count of sentences that have common diseases (d_com), uncommon diseases (d_tail), or do not have diseases (d_free). Part (b) shows parts of distributions of diseases and abnormalities in origina

实验结果

研究问题

• RQ1 现有医学报告数据集中疾病频率的长尾分布在多大程度上影响模型性能，特别是对罕见疾病的影响？
• RQ2 知识图谱能否有效用于指导数据增强，并改善医学报告生成中低频疾病类别的表征？
• RQ3 将疾病特异性与无疾病报告生成分离的两阶段生成框架，是否比端到端模型具有更好的临床相关性？
• RQ4 与BLEU等标准n-gram指标相比，新提出的评估指标——多样性敏感度（DS）是否更能反映医学报告生成的临床实用性？
• RQ5 与基于BLEU的训练相比，基于DS的训练在多大程度上提升了罕见疾病提及的生成能力？

主要发现

• 所提出的基于KG增强的两阶段生成框架在DS指标上达到0.1902，显著优于R2Gen的0.1523，表明其在疾病提及检测与多样性方面表现更优。
• 所提方法的DOR得分为0.5138，优于R2Gen的0.2911，表明其在疾病检测与报告质量之间具有更强的平衡能力。
• 当移除数据增强策略后，DS得分下降至0.1634，证实数据平衡在提升罕见疾病生成能力中的关键作用。
• 仅使用疾病特异性生成器的模型DS得分为0.1955，但DOR得分为零，因其无法生成正常报告，凸显此类模型的临床局限性。
• 基于BLEU优化的R2Gen模型虽BLEU得分较高，但DS接近零（0.0324），敏感度也极低（0.0186），表明标准指标无法反映临床准确性。
• 定性分析表明，所提方法能成功生成如“间质性肺泡浸润”和“肺水肿”等罕见异常的临床相关描述，与KG标注的关键术语高度一致。

Figure 2: An illustration of our proposed knowledge graph, which contains “normal” and 8 disease categories including 7 organs and an “other” category. Each category further branches out into its corresponding specific diseases.