[论文解读] UI-Net: Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model

Mario Amrehn, Sven Gaube+7 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Neural Network Applications参考文献 13被引用 12

一句话总结

本文提出UI-Net，一种深度学习框架，将用户提供的涂鸦作为动态输入整合到全卷积神经网络（FCN）中，用于迭代式医学图像分割。通过使用基于规则的用户模型来模拟真实用户交互进行网络训练，UI-Net在分割精度方面优于非交互式FCN和交互式GrowCut，尤其在介入放射学中典型的低数据环境下，Dice分数提高了6%。

ABSTRACT

For complex segmentation tasks, fully automatic systems are inherently limited in their achievable accuracy for extracting relevant objects. Especially in cases where only few data sets need to be processed for a highly accurate result, semi-automatic segmentation techniques exhibit a clear benefit for the user. One area of application is medical image processing during an intervention for a single patient.We propose a learning-based cooperative segmentation approach which includes the computing entity as well as the user into the task. Our system builds upon a state-of-the-art fully convolutional artificial neural network (FCN) as well as an active user model for training. During the segmentation process, a user of the trained system can iteratively add additional hints in form of pictorial scribbles as seed points into the FCN system to achieve an interactive and precise segmentation result. The segmentation quality of interactive FCNs is evaluated. Iterative FCN approaches can yield superior results compared to networks without the user input channel component, due to a consistent improvement in segmentation quality after each interaction.

研究动机与目标

• 为解决在复杂医学影像任务中完全自动分割的局限性，特别是针对罕见或高度变异的病灶。
• 在标注数据有限的场景下提升分割精度，例如TACE术中肝脏肿瘤的分割。
• 开发一种半自动系统，通过交互式、迭代式优化高效利用专家用户输入。
• 使用模拟用户模型训练深度神经网络，以模拟分割过程中可能发生的合理人类交互行为。

提出的方法

• 在全卷积神经网络（FCN）中增加一个额外的输入分支，用于接收用户提供的涂鸦（种子点），以表示前景和背景区域。
• 基于规则的主动用户模型在训练过程中模拟真实的用户行为，通过当前分割误差生成合理的种子点。
• 使用结合真实标注结果和模拟用户输入的损失函数，实现端到端训练，使模型能够从交互式反馈中学习。
• 训练过程采用动态用户模型，在每次迭代后生成新的种子点，以模拟实时用户修正过程。
• 网络架构采用类似U-Net的编码器-解码器结构，并通过跳跃连接设计，适配同时接收图像和种子掩码输入。
• 考虑迁移学习作为替代训练策略，即使用预训练的FCN作为特征提取器，并对第二个FCN进行微调以融合用户输入。

实验结果

研究问题

• RQ1 是否可以训练一个深度神经网络，在推理阶段整合交互式用户涂鸦，从而在静态训练基础上进一步提升分割精度？
• RQ2 使用模拟用户模型进行训练，对FCN在迭代分割任务中的性能有何影响？
• RQ3 迭代式用户输入对分割质量有何影响？是否在各次迭代中均带来一致的性能提升？
• RQ4 基于规则的用户模型是否能有效模拟类人交互，从而在低数据环境下提升网络泛化能力？
• RQ5 所提出的UI-Net在分割精度方面与非交互式FCN和交互式GrowCut相比，其定量表现如何？

主要发现

• 使用主动用户模型训练的UI-Net相比非交互式FCN和交互式GrowCut基线，Dice分数平均提升6%。
• 每次额外的用户交互均带来一致且可测量的分割质量提升，证明了迭代优化的价值。
• 初始种子点的数量显著影响分割性能，种子点数量越多，结果越好。
• UI-Net的交互版本在具有信号重叠和坏死区域的复杂病例中，优于静态和非交互基线方法。
• 通过模拟用户模型进行训练，使网络能更好地泛化到真实用户交互，从而减少对大量手动标注的依赖。
• 该方法在低数据环境下尤为有效，仅需少量标注病例即可实现良好性能，适用于临床介入工作流程。