[论文解读] Using Radiomics as Prior Knowledge for Thorax Disease Classification and Localization in Chest X-rays

Yan Han, Chongyan Chen+8 more|PubMed|Nov 25, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 24被引用 13

一句话总结

该论文提出ChexRadiNet，一种端到端深度学习框架，通过将放射组学特征作为软约束，以提升胸部X光片中的胸腔疾病分类与定位性能。通过利用三重注意力机制并结合基于放射组学特征的迭代优化，该模型在三个公开数据集上实现了最先进性能，分类AUC达0.843，定位T(IoU)=0.1达0.679。

ABSTRACT

Chest X-ray becomes one of the most common medical diagnoses due to its noninvasiveness. The number of chest X-ray images has skyrocketed, but reading chest X-rays still have been manually performed by radiologists, which creates huge burnouts and delays. Traditionally, radiomics, as a subfield of radiology that can extract a large number of quantitative features from medical images, demonstrates its potential to facilitate medical imaging diagnosis before the deep learning era. In this paper, we develop an end-to-end framework, ChexRadiNet, that can utilize the radiomics features to improve the abnormality classification performance. Specifically, ChexRadiNet first applies a light-weight but efficient triplet-attention mechanism to classify the chest X-rays and highlight the abnormal regions. Then it uses the generated class activation map to extract radiomic features, which further guides our model to learn more robust image features. After a number of iterations and with the help of radiomic features, our framework can converge to more accurate image regions. We evaluate the ChexRadiNet framework using three public datasets: NIH ChestX-ray, CheXpert, and MIMIC-CXR. We find that ChexRadiNet outperforms the state-of-the-art on both disease detection (0.843 in AUC) and localization (0.679 in T(IoU) = 0.1). We make the code publicly available at https://github. com/bionlplab/lung_disease_detection_amia2021, with the hope that this method can facilitate the development of automatic systems with a higher-level understanding of the radiological world.

研究动机与目标

• 为应对放射科医生在手动解读胸部X光片方面日益增长的工作负担，该负担导致职业倦怠和诊断差异。
• 通过在神经网络训练中嵌入放射组学特征作为软约束，弥合传统放射组学与深度学习之间的差距。
• 开发一种端到端框架，无需预标注边界框即可同时提升疾病分类与定位性能。
• 通过生成与放射科推理逻辑及真实标注对齐的注意力图，增强模型可解释性。
• 实现更稳健、泛化能力更强且临床可解释的自动化胸腔疾病检测AI系统。

提出的方法

• ChexRadiNet采用多任务、闭环架构，包含两个分支：一个用于多标签分类，另一个用于利用放射组学特征进行定位。
• 采用轻量级三重注意力机制，生成突出胸部X光片异常区域的类别激活图。
• 从注意力图中提取放射组学特征，并在反向传播过程中将其用作正则化软约束。
• 框架采用隐变量模型 $E_{z\sim p(z|x)}p(y|x,z)$，其中 $z$ 表示图像 $x$ 上基于放射组学的掩码，$p(y|x,z)$ 为掩码分类头。
• 采用弱监督学习方式端到端训练模型，无需预标注边界框。
• 骨干网络采用ResNet-18，框架在NIH ChestX-ray、CheXpert和MIMIC-CXR数据集上进行评估。

实验结果

研究问题

• RQ1 放射组学特征能否作为先验知识有效整合进深度学习模型，以提升胸腔疾病分类与定位性能？
• RQ2 基于注意力图与放射组学特征的弱监督框架，能否在无需预标注边界框的情况下超越现有最先进模型？
• RQ3 放射组学特征在多病种胸腔疾病检测中，能在多大程度上提升模型的鲁棒性与可解释性？
• RQ4 模型生成的注意力图与关键病理（如心脏扩大、肺炎和肺部肿块）的放射科真实标注对齐程度如何？
• RQ5 放射组学的整合能否提升模型在多样化真实世界胸部X光数据集上的泛化能力？

主要发现

• 在NIH ChestX-ray数据集上，ChexRadiNet的胸腔疾病分类AUC达到0.843，优于未使用放射组学的基线模型。
• 在NIH ChestX-ray数据集上，模型在T(IoU)=0.1下的定位性能达0.679，表明其在异常区域定位方面具有优异准确性。
• 在CheXpert数据集上，ChexRadiNet将平均AUC从0.854提升至0.883，尤其在检测肺炎、胸腔积液和实变方面提升显著。
• 在MIMIC-CXR数据集上，模型将平均AUC从0.822提升至0.837，显示出在多样化临床环境下的持续改进。
• 定性分析表明，模型生成的注意力图与真实标注边界框高度对齐，甚至在标注不完整时（如双侧肺炎病例）也能检测到多个病灶。
• 模型展现出增强的可解释性，注意力图提供了支持放射科推理的视觉证据，可补充缺失的标注。