[论文解读] Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer

Zhendong Liu, Xin Yang+10 more|arXiv (Cornell University)|Feb 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 5

一句话总结

该论文提出WaveCT-AIN-D，一种快速、稳定且通用的风格迁移框架，通过利用小波校正迁移与自适应实例归一化（AdaIN），消除超声图像的外观变化，实现对分割任务的实时、高保真风格化。该方法在胎儿头颅和腹部超声数据集上分别取得94.05%和97.31%的Dice分数，性能超越以往方法，在准确率、速度和视觉质量方面表现更优，同时保持0.11秒/张图像的实时推理速度。

ABSTRACT

Deep Neural Networks (DNNs) suffer from the performance degradation when image appearance shift occurs, especially in ultrasound (US) image segmentation. In this paper, we propose a novel and intuitive framework to remove the appearance shift, and hence improve the generalization ability of DNNs. Our work has three highlights. First, we follow the spirit of universal style transfer to remove appearance shifts, which was not explored before for US images. Without sacrificing image structure details, it enables the arbitrary style-content transfer. Second, accelerated with Adaptive Instance Normalization block, our framework achieved real-time speed required in the clinical US scanning. Third, an efficient and effective style image selection strategy is proposed to ensure the target-style US image and testing content US image properly match each other. Experiments on two large US datasets demonstrate that our methods are superior to state-of-the-art methods on making DNNs robust against various appearance shifts.

研究动机与目标

• 为解决深度神经网络在超声图像分割中因TGC、探头设置和设备差异导致的不可预测外观变化而引起的性能下降问题。
• 开发一种快速、稳定且通用的风格迁移方法，在消除超声图像外观变化的同时保留结构细节。
• 通过加速风格迁移，在不牺牲准确性或稳定性的情况下，实现在临床环境中的实时推理。
• 设计一种有效的风格图像选择策略，确保最优的内容-风格匹配，以实现鲁棒的域泛化。
• 在无需目标域标注的情况下，提升分割模型在多样化超声成像条件下的泛化能力。

提出的方法

• 该框架集成WaveCT-AIN，一种轻量级风格迁移网络，采用哈尔小波池化与自适应实例归一化（AdaIN），实现快速、高保真的风格化。
• 采用分层编码器-解码器架构，从参考风格图像中提炼多尺度风格特征，并通过风格调制模块将这些特征传递至内容图像。
• 采用哈尔小波池化可实现精确重建且结构损失最小，相比标准最大池化更能保留细节。
• 提出一种新型风格选择模块，基于内容-风格兼容性从源域图像库中检索最合适的风格图像，确保迁移过程的稳定与优化。
• 该方法端到端可训练，兼容任意分割主干网络，结合AdaIN加速后推理时间缩短至0.07秒。
• 该框架支持任意风格-内容迁移，适用于具有不可预测外观变化的开放域临床场景。

实验结果

研究问题

• RQ1 是否可有效应用通用风格迁移来减少超声图像分割中的外观差异，且无需目标域标注？
• RQ2 如何加速风格迁移以满足临床实时扫描需求，同时保持图像结构与细节？
• RQ3 风格图像选择对风格化分割结果的稳定性与性能有何影响？
• RQ4 与当前最先进的域自适应与风格迁移方法相比，所提出的WaveCT-AIN-D框架在分割准确率与推理速度方面表现如何？
• RQ5 该框架是否可在无需微调的情况下泛化至多样化超声成像条件（如不同TGC设置）？

主要发现

• WaveCT-AIN-D在胎儿头颅（FH）数据集上取得94.05%的最高Dice分数，在胎儿腹部（FA）数据集上达到97.31%，显著优于基线方法。
• 在FH数据集上，分割边界Hausdorff距离（Hdb）降低至7.54像素，在FA数据集上为8.32像素，表明边界定位精度更高。
• 单张图像推理时间仅0.11秒，比WCT 2快60倍，比STROTSS快180倍，满足临床实时需求。
• 风格化输出的结构相似性（SSIM）在FH数据集上达到79.81%，在FA数据集上为78.55%，表明具有高视觉保真度与稳定性。
• 所提出的风格选择策略相比固定风格迁移，Dice分数提升2.5–3.5%，证实其在内容与风格匹配方面的有效性。
• PSNR值分别为30.63（FH）和28.23（FA），表明生成图像质量高且失真小，优于基于GAN和迭代的方法。