[论文解读] SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging

Meng Lou, Hanning Ying+4 more|arXiv (Cornell University)|Feb 27, 2024

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本论文提出 SDR-Former，一种用于 CT 和 MR 成像中 3D 多期肝脏病灶分类的孪生双分辨率 Transformer。该方法采用参数共享的孪生网络，结合混合 3D CNN-Transformer 主干网络与自适应分期选择模块，以增强特征表示与分期特异性融合，在 3 期 CT 和 8 期 MR 数据集上均取得了最先进性能，并首次公开发布了用于肝脏病灶分析的多期 MR 数据集。

ABSTRACT

Automated classification of liver lesions in multi-phase CT and MR scans is of clinical significance but challenging. This study proposes a novel Siamese Dual-Resolution Transformer (SDR-Former) framework, specifically designed for liver lesion classification in 3D multi-phase CT and MR imaging with varying phase counts. The proposed SDR-Former utilizes a streamlined Siamese Neural Network (SNN) to process multi-phase imaging inputs, possessing robust feature representations while maintaining computational efficiency. The weight-sharing feature of the SNN is further enriched by a hybrid Dual-Resolution Transformer (DR-Former), comprising a 3D Convolutional Neural Network (CNN) and a tailored 3D Transformer for processing high- and low-resolution images, respectively. This hybrid sub-architecture excels in capturing detailed local features and understanding global contextual information, thereby, boosting the SNN's feature extraction capabilities. Additionally, a novel Adaptive Phase Selection Module (APSM) is introduced, promoting phase-specific intercommunication and dynamically adjusting each phase's influence on the diagnostic outcome. The proposed SDR-Former framework has been validated through comprehensive experiments on two clinical datasets: a three-phase CT dataset and an eight-phase MR dataset. The experimental results affirm the efficacy of the proposed framework. To support the scientific community, we are releasing our extensive multi-phase MR dataset for liver lesion analysis to the public. This pioneering dataset, being the first publicly available multi-phase MR dataset in this field, also underpins the MICCAI LLD-MMRI Challenge. The dataset is accessible at:https://bit.ly/3IyYlgN.

研究动机与目标

• 为解决在 3D 多期 CT 和 MR 成像中肝脏病灶准确且高效分类的挑战，其中人工分析耗时且易出错。
• 克服现有图像级和特征级融合方法的局限性，这些方法要么稀释了分期特异性特征，要么带来高昂的计算成本。
• 开发一种可扩展、计算高效且鲁棒的深度学习框架，能够处理可变数量的成像分期。
• 提出一种新颖的自适应分期选择模块（APSM），根据诊断相关性动态加权各期贡献。
• 通过公开发布首个可用于肝脏病灶分析的多期 MR 数据集，支持开放科学，推动更广泛的研究与基准测试。

提出的方法

• SDR-Former 采用参数共享的孪生神经网络（SNN）独立处理每一期成像，保留了分期特异性表征的同时确保计算效率。
• 提出一种混合双分辨率 Transformer（DR-Former），结合 3D CNN 用于高分辨率局部特征提取与 3D Transformer 用于低分辨率全局上下文建模。
• 通过逐元素拼接与全局平均池化层，将高分辨率与低分辨率特征进行融合，增强对局部细节与长距离依赖关系的理解。
• 设计自适应分期选择模块（APSM），通过学习各期特异性注意力权重，动态调整各期对最终分类的贡献。
• 框架集成跨模态交互模块（BCIM），促进 CNN 与 Transformer 分支之间的特征交互，提升特征表示能力。
• 采用交叉熵损失进行端到端训练，并在两个临床数据集上进行评估：3 期 CT 数据集与 8 期 MR 数据集。

Figure 1: This diagram illustrates the SDR-Former framework, which utilizes a Siamese Neural Network (SNN) for processing each phase in the multi-phase imaging series independently yet simultaneously. Central to this framework is the hybrid Dual-Resolution Transformer (DR-Former), a fusion network t

实验结果

研究问题

• RQ1 孪生双分辨率 Transformer 架构能否有效捕捉 3D 多期肝脏成像中多期之间的互补特征？
• RQ2 与独立的 CNN 或 Transformer 相比，混合 3D CNN-Transformer 主干网络在特征表示方面有何改进？
• RQ3 自适应分期选择模块在通过动态加权分期特异性特征方面，对分类性能的提升程度如何？
• RQ4 所提出的框架在成像分期数量不同的数据集（如 3 期 CT 与 8 期 MR）上是否具备良好的泛化能力？
• RQ5 DR-Former 主干网络是否可有效迁移至多期肝脏病灶分析之外的其他 3D 医学图像分类任务？

主要发现

• 在 3 期 CT 数据集上，SDR-Former 达到准确率 0.8915，AUC 0.7830，F1 分数 0.8915，Kappa 0.7830，表现强劲。
• 在 8 期 MR 数据集上，模型在使用 CT 数据预训练后，达到准确率 0.9536，AUC 0.7910，F1 分数 0.7467，Kappa 0.7467。
• DR-Former 主干网络在 MedMNIST v2 上优于最先进模型，分别在 OrganMNIST3D 上达到 96.23% 准确率，在 NoduleMNIST3D 上达到 90.32% 准确率。
• 该模型在不同分期数量的数据集上表现出稳健的泛化能力，无需重新设计网络架构即可保持高性能。
• 消融实验证实，APSM 与 BCIM 组件显著提升了性能，验证了其在分期特异性特征加权与跨分支特征交互中的关键作用。
• 首次公开发布用于肝脏病灶分析的多期 MR 数据集，有望加速该领域研究并推动基准测试的标准化。

Figure 2: A diagrammatic depiction outlining the structure of the Hybrid Dual-Resolution Transformer (DR-Former).