[论文解读] Swin-Tempo: Temporal-Aware Lung Nodule Detection in CT Scans as Video Sequences Using Swin Transformer-Enhanced UNet

Hossein Jafari, Karim Faez+1 more|arXiv (Cornell University)|Oct 5, 2023

Lung Cancer Diagnosis and TreatmentMedicine被引用 3

一句话总结

Swin-Tempo 提出一种基于 2D UNet 的模型，通过引入 Swin Transformer 和 RNN，将 3D 体积作为视频序列处理，以检测 CT 扫描中的肺结节，实现了 97.84% 的敏感度和 96.0% 的竞赛性能指标，且参数量低，其准确性和效率优于当前最先进方法。

ABSTRACT

Lung cancer is highly lethal, emphasizing the critical need for early detection. However, identifying lung nodules poses significant challenges for radiologists, who rely heavily on their expertise for accurate diagnosis. To address this issue, computer-aided diagnosis (CAD) systems based on machine learning techniques have emerged to assist doctors in identifying lung nodules from computed tomography (CT) scans. Unfortunately, existing networks in this domain often suffer from computational complexity, leading to high rates of false negatives and false positives, limiting their effectiveness. To address these challenges, we present an innovative model that harnesses the strengths of both convolutional neural networks and vision transformers. Inspired by object detection in videos, we treat each 3D CT image as a video, individual slices as frames, and lung nodules as objects, enabling a time-series application. The primary objective of our work is to overcome hardware limitations during model training, allowing for efficient processing of 2D data while utilizing inter-slice information for accurate identification based on 3D image context. We validated the proposed network by applying a 10-fold cross-validation technique to the publicly available Lung Nodule Analysis 2016 dataset. Our proposed architecture achieves an average sensitivity criterion of 97.84% and a competition performance metrics (CPM) of 96.0% with few parameters. Comparative analysis with state-of-the-art advancements in lung nodule identification demonstrates the significant accuracy achieved by our proposed model.

研究动机与目标

• 解决现有肺结节检测模型因计算复杂性和有限的 3D 上下文感知能力导致的高假阳性和假阴性率。
• 通过将 2D CT 切片作为视频序列处理，同时保留切片间空间上下文，克服 3D 模型训练中的 GPU 显存限制。
• 通过在网络多个深度融合 CNN 和 Transformer 特征，提高检测精度，特别是对小结节的检测。
• 开发一种轻量化、高效的模型，适用于低资源设备部署，且不牺牲性能。
• 通过利用 RNN 建模时间序列信息，提升对肺结节的时序建模能力，从而在 2D 框架中模拟 3D 上下文。

提出的方法

• 将每个 3D CT 扫描视为视频序列，将单个 2D 切片作为帧，实现对结节在不同切片间外观的时序建模。
• 采用带有跳跃连接的 2D UNet 编码器-解码器架构，以保留多尺度空间特征并降低计算负载。
• 在编码器多个阶段集成 Swin Transformer，通过移位窗口自注意力机制捕获长距离依赖关系和全局上下文。
• 使用 RNN（LSTM）处理切片序列，建模时间动态，增强相邻切片间特征表示。
• 采用两阶段特征融合：在浅层进行 CNN 与 Transformer 特征的早期融合，在深层进行晚期融合，以优化分割结果。
• 在 LIDC-IDRI（Lung Nodule Analysis 2016）数据集上使用 10 折交叉验证进行训练，采用标准指标，包括敏感度和竞赛性能指标（CPM）。

实验结果

研究问题

• RQ1 与 3D CNN 或标准 2D 模型相比，将 3D CT 扫描建模为视频序列是否能在降低计算需求的同时提升肺结节检测的准确性？
• RQ2 Swin Transformer 增强的特征在 2D 切片基础上的分割中，能在多大程度上提升检测敏感度并减少假阳性？
• RQ3 基于 RNN 的时序建模在捕捉跨切片上下文方面是否有效，有助于识别跨越多个切片的结节？
• RQ4 在 LIDC-IDRI 基准上，具有多层级特征融合的混合 CNN-Transformer 架构是否能优于现有最先进模型，在敏感度和 F1 分数方面表现更优？
• RQ5 与基于补丁或裁剪的输入策略相比，处理完整的 2D 切片而不裁剪是否能保留更多结构信息并提升检测性能？

主要发现

• 所提出的 Swin-Tempo 模型在 LIDC-IDRI 数据集上实现了 97.84% 的敏感度，显著优于先前方法，包括使用 3D Swin Transformer 的方法。
• 该模型获得 96.0% 的竞赛性能指标（CPM），表明其整体诊断准确性优于当前最先进模型。
• 通过使用未裁剪的完整 2D 切片，模型捕获了更完整的解剖学上下文，有助于提升对小而细微结节的检测。
• RNN 的集成实现了对切片间时间依赖关系的有效建模，增强了对单个切片中不完全可见的结节的检测能力。
• 该模型保持了较低的参数量和计算开销，使其可在 GPU 显存有限的设备上部署，而无需像内存密集型 3D 变压器模型那样受限。
• 两阶段特征融合策略——在不同深度结合 CNN 与 Swin Transformer 特征——显著提升了特征表示能力和分割精度。