[论文解读] Uniformizing Techniques to Process CT scans with 3D CNNs for Tuberculosis Prediction

Hasib Zunair, Aimon Rahman+2 more|arXiv (Cornell University)|Jul 26, 2020

COVID-19 diagnosis using AI被引用 5

一句话总结

本文提出一种结合体积统一化技术——具体为均匀切片选择（ESS）和样条插值缩放（SIZ）的3D卷积神经网络（3D-CNN）框架，以有效处理3D CT扫描进行结核病预测，同时克服GPU内存限制和可变体积尺寸的挑战。SIZ通过在z轴方向插值以保留3D上下文，在ImageCLEF 2019基准测试中实现了73%的AUC和67.5%的准确率，优于所有仅使用图像数据的方法，并在无临床元数据的情况下获得总体第5名。

ABSTRACT

A common approach to medical image analysis on volumetric data uses deep 2D convolutional neural networks (CNNs). This is largely attributed to the challenges imposed by the nature of the 3D data: variable volume size, GPU exhaustion during optimization. However, dealing with the individual slices independently in 2D CNNs deliberately discards the depth information which results in poor performance for the intended task. Therefore, it is important to develop methods that not only overcome the heavy memory and computation requirements but also leverage the 3D information. To this end, we evaluate a set of volume uniformizing methods to address the aforementioned issues. The first method involves sampling information evenly from a subset of the volume. Another method exploits the full geometry of the 3D volume by interpolating over the z-axis. We demonstrate performance improvements using controlled ablation studies as well as put this approach to the test on the ImageCLEF Tuberculosis Severity Assessment 2019 benchmark. We report 73% area under curve (AUC) and binary classification accuracy (ACC) of 67.5% on the test set beating all methods which leveraged only image information (without using clinical meta-data) achieving 5-th position overall. All codes and models are made available at https://github.com/hasibzunair/uniformizing-3D.

研究动机与目标

• 解决3D CT扫描体积尺寸可变性和3D CNN训练中高内存需求的挑战。
• 通过保留2D逐切片处理中丢失的3D空间上下文，提升模型性能。
• 开发内存高效的策略，实现在有限GPU资源下的有效3D表征学习。
• 评估并比较用于结核病预测中3D医学图像分析的体积统一化技术。
• 在仅使用图像数据且无临床元数据的前提下，实现当前最先进水平的性能表现。

提出的方法

• 作者提出一种基于先前工作的17层3D-CNN架构，并进行修改以更高效地处理3D体素数据。
• 评估两种体积统一化技术：均匀切片选择（ESS），即以规则间隔采样切片；以及样条插值缩放（SIZ），通过在z轴方向插值以保留深度信息。
• 对Hounsfield单位（HU）值应用像素归一化和零中心化，以提升模型稳定性和性能。
• SIZ采用128×128×64的输入分辨率，平衡计算可行性与3D上下文保留。
• 通过多种配置的消融实验，隔离预处理和统一化技术的影响。
• 模型在包含117个3D CT扫描的ImageCLEF结核病严重程度评估2019年测试集上进行训练和评估。

实验结果

研究问题

• RQ1 在3D CT扫描中对z轴进行插值是否能带来优于2D CNN独立切片处理的性能？
• RQ2 像ESS和SIZ这样的体积统一化技术能否有效降低内存使用量，同时为结核病预测保留3D上下文？
• RQ3 对HU值进行归一化和零中心化如何影响3D医学图像分类中的模型性能？
• RQ4 使用SIZ的3D-CNN能否与使用临床元数据的顶尖方法相比具有竞争力？
• RQ5 在3D CT体数据中，SIZ是否比ESS在保持冠状切片间空间关系方面更具鲁棒性和可靠性？

主要发现

• 样条插值缩放（SIZ）在ImageCLEF 2019测试集上实现了最高的AUC（73.0%）和准确率（67.5%），优于所有仅使用图像数据的方法。
• 在正交预处理后，SIZ相较于基线模型实现了AUC提升11%和准确率提升14%，表现出显著的性能增益。
• 消融实验确认，像素归一化和零中心化显著提升了所有方法的性能，其中SIZ受益最大。
• 尽管仅使用图像数据且无临床元数据，所提方法在总体排名中位列第5，优于多个2D CNN和3D-CNN基线模型。
• 与需要128×128×128输入并导致内存错误的大型3D-CNN（UUIP）相比，该方法以更小的模型参数量（29.5M）实现了具有竞争力的结果。
• SIZ在定性和定量上均比ESS更可靠，表现为一致的性能增益和更优的ROC曲线。