[论文解读] SpecTr: Spectral Transformer for Hyperspectral Pathology Image Segmentation

Boxiang Yun, Yan Wang+4 more|arXiv (Cornell University)|Mar 5, 2021

AI in cancer detection参考文献 17被引用 35

一句话总结

SpecTr 引入一个光谱变换器，结合稀疏性和光谱归一化，用于在高光谱病理分割中建模跨波段上下文，在不进行预训练的情况下达到先进水平。

ABSTRACT

Hyperspectral imaging (HSI) unlocks the huge potential to a wide variety of applications relied on high-precision pathology image segmentation, such as computational pathology and precision medicine. Since hyperspectral pathology images benefit from the rich and detailed spectral information even beyond the visible spectrum, the key to achieve high-precision hyperspectral pathology image segmentation is to felicitously model the context along high-dimensional spectral bands. Inspired by the strong context modeling ability of transformers, we hereby, for the first time, formulate the contextual feature learning across spectral bands for hyperspectral pathology image segmentation as a sequence-to-sequence prediction procedure by transformers. To assist spectral context learning procedure, we introduce two important strategies: (1) a sparsity scheme enforces the learned contextual relationship to be sparse, so as to eliminates the distraction from the redundant bands; (2) a spectral normalization, a separate group normalization for each spectral band, mitigates the nuisance caused by heterogeneous underlying distributions of bands. We name our method Spectral Transformer (SpecTr), which enjoys two benefits: (1) it has a strong ability to model long-range dependency among spectral bands, and (2) it jointly explores the spatial-spectral features of HSI. Experiments show that SpecTr outperforms other competing methods in a hyperspectral pathology image segmentation benchmark without the need of pre-training. Code is available at https://github.com/hfut-xc-yun/SpecTr.

研究动机与目标

• 利用丰富的光谱信息，推动高精度的高光谱病理图像分割。
• 提出一个光谱变换器，以序列到序列的方式建模光谱带之间的上下文。
• 引入稀疏性和光谱归一化以改善波段选择并处理异质的光谱分布。
• 将光谱变换器整合到 U 形分割网络中，以联合学习空间-光谱特征。

提出的方法

• 将高光谱图像分解为一系列光谱图像，并通过二维卷积编码时空-光谱特征。
• 对光谱嵌入应用深度卷积，并对每个波段使用分组归一化作为光谱归一化（SN）。
• 用学习到的波段嵌入对光谱位置信息进行编码，并为变换器形成序列输入。
• 使用具有多头自注意力的变换器，以及对稀疏性友好的 alpha-entmax 注意力，以学习波段上下文。
• 将在类似 U-Net 的架构中，在多个分辨率的编码器中嵌入该变换器，并拼接解码阶段的特征。

实验结果

研究问题

• RQ1 光谱变换器是否能够学习高光谱波段之间的长距离依赖以用于病理分割？
• RQ2 稀疏性和光谱归一化是否能改进波段上下文建模和分割性能？
• RQ3 将光谱感知的变换器整合到 U-Net 主干是否优于基于卷积神经网络的高光谱分割方法？
• RQ4 在不同编码器分辨率放置变换器对分割质量有何影响？

主要发现

• SpecTr 在胆管癌分割基准测试上达到 75.21% 的平均 DSC、62.44% 的 IoU，以及 31.60 的 Hausdorff 距离。
• SpecTr 在所有指标上均优于 HSI UNet、HSI Hyper-net、3D UNet、2D UNet、Attn UNet 和 UNet++。
• 稀疏性和光谱归一化组件对于性能提升至关重要。
• 变换器位置：在第二个分辨率层之后添加变换器在本任务中比在后续层之后添加能获得更好的结果。
• 消融研究表明深度卷积优于三维卷积在此架构中更为合适。