[论文解读] Towards more precise automatic analysis: a comprehensive survey of deep learning-based multi-organ segmentation

Xiaoyu Liu, Linhao Qu+4 more|arXiv (Cornell University)|Mar 1, 2023

COVID-19 diagnosis using AI被引用 9

一句话总结

本文综述基于深度学习的多器官分割，覆盖头颈、胸部和腹部，比较全注释与不完整注释方法、数据集、架构及2016–2022年的趋势。汇总了161篇研究，讨论挑战、数据集与未来方向。

ABSTRACT

Accurate segmentation of multiple organs of the head, neck, chest, and abdomen from medical images is an essential step in computer-aided diagnosis, surgical navigation, and radiation therapy. In the past few years, with a data-driven feature extraction approach and end-to-end training, automatic deep learning-based multi-organ segmentation method has far outperformed traditional methods and become a new research topic. This review systematically summarizes the latest research in this field. For the first time, from the perspective of full and imperfect annotation, we comprehensively compile 161 studies on deep learning-based multi-organ segmentation in multiple regions such as the head and neck, chest, and abdomen, containing a total of 214 related references. The method based on full annotation summarizes the existing methods from four aspects: network architecture, network dimension, network dedicated modules, and network loss function. The method based on imperfect annotation summarizes the existing methods from two aspects: weak annotation-based methods and semi annotation-based methods. We also summarize frequently used datasets for multi-organ segmentation and discuss new challenges and new research trends in this field.

研究动机与目标

• 系统性地总结基于深度学习的头颈、胸部与腹部多器官分割的最新方法。
• 区分使用全注释与不完整注释（弱注释/半监督）的方法。
• 整理本领域常用的数据集与评估指标。
• 分析驱动性能的网络架构、维度、模块及损失函数。
• 讨论多器官分割中的挑战、趋势与未来研究方向。

提出的方法

• 将方法分为全注释和不完整注释两类。
• 在全注释内：分析网络架构、维度、专用模块与损失函数。
• 在不完整注释内：分析弱注释与半注释策略。
• 总结用于评估的数据集与评估指标（DSC、HD95、MSD）。
• 调研包括CNN、GAN、Transformer、混合方法，以及级联/多阶段方法的架构。
• 突出趋势，如由粗到细、定位+分割、定位驱动的级联等。
• 提供有组织的框架（表II–X、补充表）以在头颈、胸部、腹部区域比较方法。

实验结果

研究问题

• RQ1 在头颈、胸部和腹部的多器官分割中，主导使用的基于深度学习的架构是什么？
• RQ2 全注释方法与不完整注释（弱/半）方法在性能和实用性上有何差异？
• RQ3 该领域主导的数据集与评估指标有哪些，目前存在哪些空白或局限性？
• RQ4 哪些架构主题（如粗到细、定位-分割级联、CNN/Transformer混合）对小型器官与大型器官的改进最为有效？
• RQ5 新兴趋势与挑战如何影响未来基于DL的多器官分割研究？

主要发现

• 基于深度学习的方法在多器官分割领域的表现已显著超越传统方法。
• Transformer 与混合的CNN-Transformer 架构成为解决全局上下文和小型器官定位的新方法。
• 级联与粗到细策略（包括先定位再分割）在处理小型器官和减少背景干扰方面广泛应用。
• 不完整注释策略（弱注释与半注释）被分析用于应对数据集局限性和标注稀缺问题。
• 存在大量覆盖头颈、胸部和腹部、具有不同模态和注释类型的数据集，但用于DL模型的标注数据仍相对有限。
• 综述提供了对所使用的架构、模块和损失函数的结构化概览，并讨论如解剖变异、图像质量及泛化性等挑战。