[论文解读] Thickened 2D Networks for 3D Medical Image Segmentation.

Qihang Yu, Yingda Xia+3 more|arXiv (Cornell University)|Apr 2, 2019

Medical Image Segmentation Techniques被引用 4

一句话总结

本文提出了一种加厚的2D网络，通过将多个相邻的CT切片作为多通道输入送入2D卷积网络，从而在3D医学图像分割中融入3D上下文信息。通过早期阶段的多路复用和切片敏感注意力机制，该方法在复杂腹部器官和血管——尤其是具有复杂3D结构的器官——上实现了卓越性能，同时保持了较低的推理延迟，优于标准2D方法，并与先进的3D方法相当。

ABSTRACT

There has been a debate in 3D medical image segmentation on whether to use 2D or 3D networks, where both pipelines have advantages and disadvantages. 2D methods enjoy a low inference time and greater transfer-ability while 3D methods are superior in performance for hard targets requiring contextual information. This paper investigates efficient 3D segmentation from another perspective, which uses 2D networks to mimic 3D segmentation. To compensate the lack of contextual information in 2D manner, we propose to thicken the 2D network inputs by feeding multiple slices as multiple channels into 2D networks and thus 3D contextual information is incorporated. We also put forward to use early-stage multiplexing and slice sensitive attention to solve the confusion problem of information loss which occurs when 2D networks face inputs. With this design, we achieve a higher performance while maintaining a lower inference latency on a few abdominal organs from CT scans, in particular when the organ has a peculiar 3D shape and thus strongly requires contextual information, demonstrating our method's effectiveness and ability in capturing 3D information. We also point out that thickened 2D inputs pave a new method of 3D segmentation, and look forward to more efforts in this direction. Experiments on segmenting a few abdominal targets in particular blood vessels which require strong 3D contexts demonstrate the advantages of our approach.

研究动机与目标

• 解决3D医学图像分割中推理速度与上下文建模之间的权衡问题。
• 使2D网络能够在不增加全3D网络计算成本的前提下捕捉3D空间上下文。
• 通过改进的输入表示和注意力机制，减少在3D体数据的2D处理过程中造成的信息损失。
• 证明多切片输入堆叠可作为具有复杂3D形态的器官对3D网络的有效替代方案。
• 建立一种基于改进2D架构的新范式，实现高效的3D分割。

提出的方法

• 将多个相邻的CT切片作为多通道输入送入标准2D卷积网络，以模拟3D感受野。
• 在网络早期阶段应用多路复用，以更早地融合多切片特征，提升特征融合效果。
• 引入切片敏感注意力机制，动态加权来自不同切片的特征，减少混淆并保留空间上下文信息。
• 设计一种网络架构，在保持2D推理效率的同时增强3D上下文理解能力。
• 采用多切片输入策略，隐式建模深度关系，而无需使用3D卷积。
• 针对具有复杂3D形状的腹部器官和血管进行网络优化，其中上下文建模至关重要。

实验结果

研究问题

• RQ1 通过多切片输入堆叠，2D网络能否有效捕捉医学图像分割中的3D上下文信息？
• RQ2 在使用2D网络处理体数据时，早期阶段的多路复用在特征学习方面有何改进作用？
• RQ3 切片敏感注意力在多大程度上缓解了2D处理3D体数据时的信息损失？
• RQ4 加厚的2D方法是否在保持低推理延迟的同时，实现了与3D网络相当的性能？
• RQ5 该方法能否泛化到具有挑战性的腹部结构（如迂曲的血管）上，这些结构需要强3D上下文支持？

主要发现

• 加厚的2D网络在具有复杂3D形态的腹部器官上，分割性能优于标准2D网络。
• 尽管引入了3D上下文信息，该方法仍保持了与标准2D网络相当的低推理延迟。
• 在特定具有挑战性的目标上，该方法优于基线3D网络，尤其是在具有复杂3D结构的血管上表现更优。
• 早期阶段的多路复用和切片敏感注意力显著减少了2D处理3D数据时的信息损失，并改善了特征表示。
• 加厚的2D输入策略能有效模拟3D感受野，使2D网络能够捕捉长距离空间依赖关系。
• 结果表明，多切片输入堆叠是3D医学图像分割中全3D网络的可行且高效的替代方案。