[论文解读] SwinVFTR: A Novel Volumetric Feature-learning Transformer for 3D OCT Fluid Segmentation

Khondker Fariha Hossain, Sharif Amit Kamran+3 more|arXiv (Cornell University)|Mar 16, 2023

Retinal Imaging and AnalysisMedicine被引用 3

一句话总结

SwinVFTR 是一种新颖的 3D 体积变换器架构，专为光学相干断层扫描（OCT）体积中的精确流体分割而设计。它采用通道级体积采样、经过修改的 Swin 变压器（带移位窗口注意力机制）和多感受野残差模块，并引入体积注意力跳跃连接，实现了最先进性能，在 Spectralis、Cirrus 和 Topcon OCT 数据集上的平均 Dice 分数分别为 0.72、0.59 和 0.68。

ABSTRACT

Accurately segmenting fluid in 3D optical coherence tomography (OCT) images is critical for detecting eye diseases but remains challenging. Traditional autoencoder-based methods struggle with resolution loss and information recovery. While transformer-based models improve segmentation, they arent optimized for 3D OCT volumes, which vary by vendor and extraction technique. To address this, we propose SwinVFTR, a transformer architecture for precise fluid segmentation in 3D OCT images. SwinVFTR employs channel-wise volumetric sampling and a shifted window transformer block to improve fluid localization. Moreover, a novel volumetric attention block enhances spatial and depth-wise attention. Trained using multi-class dice loss, SwinVFTR outperforms existing models on Spectralis, Cirrus, and Topcon OCT datasets, achieving mean dice scores of 0.72, 0.59, and 0.68, respectively, along with superior performance in mean intersection-over-union (IOU) and structural similarity (SSIM) metrics.

研究动机与目标

• 为解决自编码模型在 3D OCT 流体分割中的局限性，特别是分辨率损失和特征恢复能力差的问题。
• 克服现有 2D 变压器模型在体积 OCT 数据中缺乏深度上下文信息的不足。
• 开发一种具备 3D 能力、与厂商无关的分割模型，可在不同 OCT 设备输出间实现良好泛化。
• 提升视网膜层中细微流体边界和小范围流体沉积物的定位精度。
• 在多类别流体分割任务中，通过 Dice、IOU 和 SSIM 指标实现更优性能。

提出的方法

• 提出一种通道级体积采样技术，沿深度轴（B-scan）裁剪 OCT 体积，保留空间分辨率的同时适应不同深度尺寸。
• 引入一种改进的 Swin 变压器模块，包含移位窗口自注意力机制，并结合卷积与空洞卷积的多感受野（MRF）残差子模块，以增强特征学习能力。
• 在编码器与解码器之间采用新型体积注意力（VA）模块替代标准残差跳跃连接，实现空间与深度维度上的注意力融合。
• 使用带多尺度特征融合的 3D 卷积解码器，重建高分辨率分割图。
• 采用多类别 Dice 损失进行模型训练，以优化视网膜内液（IRF）、视网膜下液（SRF）和色素上皮脱离（PED）的分割性能。
• 应用数据增强与超参数调优（学习率、批量大小、训练轮数），以优化在三个厂商特定数据集上的性能。

实验结果

研究问题

• RQ1 基于 3D 变压器的架构是否能在 3D OCT 体积的流体区域分割中超越现有的 2D 和 3D CNN/变压器模型？
• RQ2 通道级体积采样是否能有效支持在不同厂商中深度（B-scan 数量）各异的 OCT 数据集上的训练？
• RQ3 与标准残差跳跃连接相比，所提出的体积注意力模块在多大程度上提升了分割精度？
• RQ4 多感受野残差模块的集成如何增强 Swin 变压器编码器在小范围流体检测中的特征表示能力？
• RQ5 该模型是否无需微调即可在不同 OCT 扫描仪厂商（Spectralis、Cirrus、Topcon）之间实现良好泛化？

主要发现

• SwinVFTR 在 Spectralis 数据集上实现了 0.72 的平均 Dice 分数，优于所有对比模型。
• 在 Cirrus 数据集上，SwinVFTR 的平均 Dice 分数为 0.59，PED 分割性能相比 ResUNet-3D 提升了 10 倍。
• 在 Topcon 数据集上，SwinVFTR 的平均 Dice 分数为 0.68，PED 分割性能相比 ResUNet-3D 提升了 1.2 倍。
• 该模型在所有三个数据集上均实现了最高的平均交并比（mIOU）和结构相似性指数（SSIM），表明其在边界定位和结构保真度方面表现更优。
• 消融实验证实，体积注意力（VA）和多感受野（MRF）模块均不可或缺，完整模型优于缺少任一组件的变体。
• 无论是否包含背景类别，该模型均保持高性能，表明其对类别不平衡具有鲁棒性，并且误报率较低。