[论文解读] VoteNet: A Deep Learning Label Fusion Method for Multi-Atlas Segmentation

Zhipeng Ding, Xu Han+1 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Neural Network Applications参考文献 14被引用 7

一句话总结

VoteNet 提出了一种基于深度学习的标签融合方法，用于多图谱分割，通过二值掩码预测网络在局部识别可信图谱，仅对这些选定图谱应用多数投票。该方法在 3D 脑 MRI 分割任务中达到最先进性能，优于传统标签融合方法和 U-Net，同时保持空间一致性，并通过基于深度学习的配准实现快速推理。

ABSTRACT

Deep learning (DL) approaches are state-of-the-art for many medical image segmentation tasks. They offer a number of advantages: they can be trained for specific tasks, computations are fast at test time, and segmentation quality is typically high. In contrast, previously popular multi-atlas segmentation (MAS) methods are relatively slow (as they rely on costly registrations) and even though sophisticated label fusion strategies have been proposed, DL approaches generally outperform MAS. In this work, we propose a DL-based label fusion strategy (VoteNet) which locally selects a set of reliable atlases whose labels are then fused via plurality voting. Experiments on 3D brain MRI data show that by selecting a good initial atlas set MAS with VoteNet significantly outperforms a number of other label fusion strategies as well as a direct DL segmentation approach. We also provide an experimental analysis of the upper performance bound achievable by our method. While unlikely achievable in practice, this bound suggests room for further performance improvements. Lastly, to address the runtime disadvantage of standard MAS, all our results make use of a fast DL registration approach.

研究动机与目标

• 解决传统多图谱分割（MAS）的局限性，其因计算成本高的配准过程而运行缓慢，并在标签融合中存在空间不一致性问题。
• 通过学习在每个体素处仅选择最可信的图谱进行局部选择，而非依赖所有图谱，从而提升标签融合性能。
• 结合 MAS 的空间一致性优势与深度学习，实现高精度与快速推理。
• 通过实证分析确定所提方法的性能上限，以识别未来改进空间。
• 证明混合 VoteNet+U-Net 方法可通过填补 VoteNet 拒绝的体素（约 7.5% 的脑体素）中的缺失标签，超越两种独立方法。

提出的方法

• VoteNet 是一种深度神经网络，以目标图像和配准后的图谱图像为输入，为每个图谱预测一个二值掩码，指示该图谱在每个体素处是否在局部可信。
• 该网络采用类似 U-Net 的编码器-解码器架构，并引入跳跃连接，以保留空间细节并实现对可靠图谱贡献的精确定位。
• 对于每个体素，VoteNet 输出每个图谱的置信度分数，仅将高置信度的图谱纳入最终的多数投票步骤。
• 通过仅使用 VoteNet 认定为可信的图谱进行标签融合，可减少错配或不准确图谱的影响。
• 采用基于深度学习的可变形配准方法（Quicksilver）将所有图谱快速配准到目标图像空间，显著降低运行时间，相比传统配准方法。
• 提出一种混合 VoteNet+U-Net 策略，用于处理被 VoteNet 拒绝的体素（约占脑体素的 7.5%），由 U-Net 填补缺失的标签。

实验结果

研究问题

• RQ1 基于深度学习的标签融合方法，若能局部选择可信图谱，是否可在多图谱分割中超越全局或基于块的融合策略？
• RQ2 这种选择性融合策略是否能在保持快速推理的同时，实现比标准 U-Net 更高的分割准确率与空间一致性？
• RQ3 所提 VoteNet 方法的理论性能上限是多少？当前结果与该上限之间的差距有多大？
• RQ4 将 VoteNet 与 U-Net 结合是否可通过弥补 VoteNet 在处理被拒绝体素方面的局限性来提升性能？
• RQ5 在 Dice 分数、表面距离和形状保持方面，VoteNet 的性能与多数投票及其他标签融合方法相比如何？

主要发现

• VoteNet 在 LPBA40 数据集上显著优于传统多数投票及其他标签融合策略，Dice 分数更高，表面精度更优。
• VoteNet 在局部图谱选择上实现了 0.86 的体积 Dice 分数，表明其与真实可信图谱预测高度一致。
• 混合 VoteNet+U-Net 策略优于单独的 VoteNet 和 U-Net，证明了选择性融合与深度学习分割相结合的优势。
• VoteNet 通过过滤掉贡献错误标签的图谱，提升了标签融合中真正例的召回率，如召回图对比所示。
• 与多数投票相比，该方法能更好地保留皮层褶皱结构（后者易导致平滑化），且在形状一致性方面优于 U-Net（后者存在形状失真）。
• 实证上界分析显示，当前 VoteNet 结果与理论最优性能之间存在显著差距，表明未来仍有巨大改进空间。