[论文解读] Pneumonia Detection on Chest X-ray using Radiomic Features and Contrastive Learning

Yan Han, Chongyan Chen+3 more|arXiv (Cornell University)|Jan 12, 2021

COVID-19 diagnosis using AI参考文献 20被引用 5

一句话总结

该论文提出了一种新颖的肺炎检测框架，通过将放射组学特征与对比学习相结合，提升了胸部X光片分析中的准确率与可解释性。通过对比损失将卷积神经网络（CNN）的图像特征与手工提取的放射组学特征对齐，模型在RSNA数据集上实现了92.7%的F1分数，较基线模型高出逾10个百分点，同时提升了对肺炎病灶区域的关注度定位能力。

ABSTRACT

Chest X-ray becomes one of the most common medical diagnoses due to its noninvasiveness. The number of chest X-ray images has skyrocketed, but reading chest X-rays still have been manually performed by radiologists, which creates huge burnouts and delays. Traditionally, radiomics, as a subfield of radiology that can extract a large number of quantitative features from medical images, demonstrates its potential to facilitate medical imaging diagnosis before the deep learning era. With the rise of deep learning, the explainability of deep neural networks on chest X-ray diagnosis remains opaque. In this study, we proposed a novel framework that leverages radiomics features and contrastive learning to detect pneumonia in chest X-ray. Experiments on the RSNA Pneumonia Detection Challenge dataset show that our model achieves superior results to several state-of-the-art models (> 10% in F1-score) and increases the model's interpretability.

研究动机与目标

• 解决在解读胸部X光片时诊断效率低和放射科医生工作负荷高的挑战。
• 通过整合可解释的放射组学特征，克服深度学习模型在医学影像中“黑箱”特性的问题。
• 利用对比学习将图像级表征与感兴趣区域（ROIs）的放射组学特征对齐，而无需依赖文本报告。
• 通过结合领域特定的放射组学知识与深度学习表征，提升模型性能与可解释性。
• 通过对比表示学习有效利用未标注数据，减少对昂贵标注的依赖。

提出的方法

• 使用标准放射组学流程，从胸部X光片中手动标注的感兴趣区域（ROIs）中提取放射组学特征。
• 使用带有注意力机制的ResNet-18-based CNN，学习来自胸部X光片的图像级表征。
• 应用双向对比损失，以最大化正样本对（图像与其对应的放射组学特征）的一致性，同时最小化负样本对（随机图像-放射组学组合）的一致性。
• 在大量未标注的胸部X光片及其放射组学特征对上，使用对比学习进行模型预训练。
• 在RSNA肺炎检测挑战数据集上端到端微调模型，用于肺炎分类。
• 可视化注意力图以评估和验证模型对生物相关区域的关注度，从而增强可解释性。

实验结果

研究问题

• RQ1 将放射组学特征与深度学习结合，能否提升胸部X光片中肺炎检测的性能？
• RQ2 图像特征与放射组学特征之间的对比学习，能否增强医学影像中的表征学习？
• RQ3 与标准深度学习模型相比，所提出的框架在多大程度上提升了模型的可解释性？
• RQ4 基于ROI的放射组学特征与全图放射组学相比，在性能上表现如何？
• RQ5 在未来的扩展中，通过弱监督学习减少对专家标注边界框的依赖，模型能否保持高性能？

主要发现

• 所提出的ResNet-18AttRadi模型在RSNA肺炎检测挑战数据集上实现了92.7%的F1分数，较ResNet-18（78.2%）和ResNet-18Att（82.6%）高出逾10个百分点。
• 包含放射组学特征的模型（ResNet-18AttRadi）AUC达到0.923，显著高于基线模型ResNet-18（0.795）。
• 即使使用全图而非ROI进行放射组学特征提取，F1分数仍提升了5.8个百分点（从82.6%提升至88.4%），证实了放射组学特征的价值。
• ResNet-18AttRadi模型的注意力图在肺炎病灶区域的定位更加精确，相比标准的ResNet-18Att模型，噪声更少。
• 对比学习预训练阶段表现出快速的损失收敛，表明在仅几个周期内即可实现高效且有效的特征学习。
• 消融实验证实，放射组学与对比学习的结合在性能上具有协同增益作用，即使在不使用边界框标注的情况下亦然。