[论文解读] Quantifying the Value of Lateral Views in Deep Learning for Chest X-rays

Mohammad Hashir, Hadrien Bertrand+1 more|arXiv (Cornell University)|Feb 7, 2020

COVID-19 diagnosis using AI被引用 5

一句话总结

本研究通过利用包含多视角和200个放射学标签的PadChest数据集，探究了侧位胸部X光片在深度学习模型中的价值。结果表明，引入侧位影像可使32种疾病的预测性能得到提升，其增益效果与仅使用前后位（PA）影像时将训练集规模翻倍相当，凸显了侧位影像在不同病理类型中贡献显著但存在差异的特性。

ABSTRACT

Most deep learning models in chest X-ray prediction utilize the posteroanterior (PA) view due to the lack of other views available. PadChest is a large-scale chest X-ray dataset that has almost 200 labels and multiple views available. In this work, we use PadChest to explore multiple approaches to merging the PA and lateral views for predicting the radiological labels associated with the X-ray image. We find that different methods of merging the model utilize the lateral view differently. We also find that including the lateral view increases performance for 32 labels in the dataset, while being neutral for the others. The increase in overall performance is comparable to the one obtained by using only the PA view with twice the amount of patients in the training set.

研究动机与目标

• 评估侧位胸部X光片对深度学习模型在放射学标签预测中性能的影响。
• 比较不同融合策略在多视角学习中结合前后位与侧位影像的效果。
• 确定侧位影像是否在多种放射学条件下一致地提升模型性能。
• 量化侧位影像带来的性能增益相对于增加训练数据规模的相对收益。

提出的方法

• 采用PadChest数据集，其中包含超过10万个胸部X光片，涵盖多个视角和200个放射学标签。
• 使用多种融合技术训练深度学习模型，以结合前后位（PA）和侧位影像的特征。
• 评估多种融合策略，包括早期、晚期和中间特征融合，以分析侧位信息的利用方式。
• 在所有200个标签上对比包含与不包含侧位影像的模型性能，以识别性能提升和无显著影响的案例。
• 测量性能提升相对于使用两倍数量的仅前后位影像训练案例的基准，以建立比较标准。

实验结果

研究问题

• RQ1 在预测放射学标签时，引入侧位胸部X光片如何影响深度学习模型的性能？
• RQ2 前后位与侧位影像之间的哪种融合策略能带来最有效的性能增益？
• RQ3 在多少种放射学标签上，侧位影像能带来可测量的预测准确率提升？
• RQ4 侧位影像带来的性能增益与将仅前后位训练集规模翻倍相比如何？

主要发现

• 在PadChest数据集中，包含侧位影像使32种放射学标签的模型性能得到提升。
• 使用侧位影像带来的整体性能增益，与仅使用前后位影像时将训练样本数量翻倍所获得的提升相当。
• 不同融合方法以不同方式利用侧位影像信息，表明模型架构显著影响侧位特征的利用方式。
• 对于其余168种标签，引入侧位影像对性能无显著影响，表明其效用具有视图特异性。
• 结果表明，侧位影像并非在所有情况下都具有普遍益处，但对特定病理类型具有显著价值，尤其当通过模型设计有效整合时。