[论文解读] Overview of image-to-image translation by use of deep neural networks: denoising, super-resolution, modality conversion, and reconstruction in medical imaging

Shizuo Kaji, Satoshi Kida|arXiv (Cornell University)|May 21, 2019

Advanced Image Processing Techniques参考文献 50被引用 9

一句话总结

本文全面综述了深度神经网络在医学影像中图像到图像翻译的应用，重点聚焦于去噪、超分辨率、模态转换和重建。文章介绍了 pix2pix 和 CycleGAN 分别作为成对与非成对数据的基础架构，并提供了开源实现与教程，以支持临床应用中的实际部署与进一步研究。

ABSTRACT

Since the advent of deep convolutional neural networks (DNNs), computer vision has seen an extremely rapid progress that has led to huge advances in medical imaging. This article does not aim to cover all aspects of the field but focuses on a particular topic, image-to-image translation. Although the topic may not sound familiar, it turns out that many seemingly irrelevant applications can be understood as instances of image-to-image translation. Such applications include (1) noise reduction, (2) super-resolution, (3) image synthesis, and (4) reconstruction. The same underlying principles and algorithms work for various tasks. Our aim is to introduce some of the key ideas on this topic from a uniform point of view. We introduce core ideas and jargon that are specific to image processing by use of DNNs. Having an intuitive grasp of the core ideas of and a knowledge of technical terms would be of great help to the reader for understanding the existing and future applications. Most of the recent applications which build on image-to-image translation are based on one of two fundamental architectures, called pix2pix and CycleGAN, depending on whether the available training data are paired or unpaired. We provide computer codes which implement these two architectures with various enhancements. Our codes are available online with use of the very permissive MIT license. We provide a hands-on tutorial for training a model for denoising based on our codes. We hope that this article, together with the codes, will provide both an overview and the details of the key algorithms, and that it will serve as a basis for the development of new applications.

研究动机与目标

• 将多种医学影像处理任务（如去噪、超分辨率与模态转换）统一在图像到图像翻译的共同框架下。
• 为医学影像领域的从业者阐明基于深度神经网络的图像翻译核心原理与技术术语。
• 提供可访问、文档齐全的 MIT 许可开源代码，支持使用 pix2pix 和 CycleGAN 架构在成对与非成对数据集上训练模型。
• 指导研究人员通过动手教程，使用所提供的代码库训练去噪模型。
• 强调在临床部署中，将数据驱动的深度学习与领域特定知识相结合的重要性。

提出的方法

• 利用深度卷积神经网络（DNNs）学习从输入图像到输出图像的映射，将所有目标任务视为图像到图像翻译问题。
• 采用 pix2pix 架构处理成对数据，该架构使用编码器-解码器结构并结合对抗性训练，学习从输入到输出的条件映射。
• 采用 CycleGAN 架构处理非成对数据，通过强制循环一致性来学习映射，而无需依赖对齐的训练样本对。
• 将生成对抗网络（GANs）与编码器-解码器架构结合，以提升生成图像的感知质量与结构保真度。
• 实施包含 L2 损失与感知损失函数的训练流程，并使用 Adam 优化器进行端到端训练。
• 提供模块化代码库，包含默认超参数并支持可调参，适用于 CPU 或 GPU 上的推理。

实验结果

研究问题

• RQ1 如何将去噪与超分辨率等多样化的医学影像处理任务统一在图像到图像翻译框架下？
• RQ2 在医学影像应用中，pix2pix（成对数据）与 CycleGAN（非成对数据）在关键架构差异与性能权衡方面有何不同？
• RQ3 预训练的 DNN 模型在不同成像协议、扫描仪或患者群体之间具有多大程度的泛化能力？
• RQ4 如何通过结合模型驱动与数据驱动的混合方法，提升基于 DNN 的图像翻译的可靠性与临床可用性？
• RQ5 在真实医学影像工作流中，调参与部署训练模型面临哪些实际挑战？

主要发现

• pix2pix 与 CycleGAN 架构为广泛的医学图像翻译任务（包括去噪、超分辨率与跨模态合成）提供了基础框架。
• 即使在无 GPU 的情况下，训练好的模型每秒也能处理数十张 DICOM 图像，支持临床环境中的实时推理。
• 性能高度依赖于数据相似性；在特定扫描仪类型或噪声特征上训练的模型，若未重新训练，可能无法泛化到新数据集。
• 超参数调优对实现最佳性能至关重要，尽管默认设置可作为合理起点。
• 将领域特定知识与深度学习相结合可提升模型的鲁棒性与可靠性，尤其在数据量有限的情况下。
• 作者表明，当谨慎使用时，DNN 是强大的工具，并倡导采用结合模型驱动与数据驱动方法的混合策略，以确保临床安全与可解释性。