[论文解读] Optimal Transport driven CycleGAN for Unsupervised Learning in Inverse Problems

Byeongsu Sim, Gyutaek Oh+3 more|arXiv (Cornell University)|Sep 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 16

一句话总结

该论文提出OT-cycleGAN，一种用于生物医学成像中反问题的新型无监督学习框架，通过在最优传输理论下使用带物理数据保真度和深度学习反向路径正则化的惩罚最小二乘成本，从循环生成对抗网络（cycleGAN）架构中推导出该方法。该方法实现了灵活的、基于物理的循环生成对抗网络设计——涵盖单个或双生成器-判别器对——在加速磁共振成像、超分辨率显微成像和低剂量CT中实现了与监督学习相当的性能，且无需成对训练数据。

ABSTRACT

To improve the performance of classical generative adversarial network (GAN), Wasserstein generative adversarial networks (W-GAN) was developed as a Kantorovich dual formulation of the optimal transport (OT) problem using Wasserstein-1 distance. However, it was not clear how cycleGAN-type generative models can be derived from the optimal transport theory. Here we show that a novel cycleGAN architecture can be derived as a Kantorovich dual OT formulation if a penalized least square (PLS) cost with deep learning-based inverse path penalty is used as a transportation cost. One of the most important advantages of this formulation is that depending on the knowledge of the forward problem, distinct variations of cycleGAN architecture can be derived: for example, one with two pairs of generators and discriminators, and the other with only a single pair of generator and discriminator. Even for the two generator cases, we show that the structural knowledge of the forward operator can lead to a simpler generator architecture which significantly simplifies the neural network training. The new cycleGAN formulation, what we call the OT-cycleGAN, have been applied for various biomedical imaging problems, such as accelerated magnetic resonance imaging (MRI), super-resolution microscopy, and low-dose x-ray computed tomography (CT). Experimental results confirm the efficacy and flexibility of the theory.

研究动机与目标

• 通过从最优传输理论推导出一种系统性、基于物理的循环生成对抗网络架构，弥合最优传输理论与cycleGAN之间的差距。
• 解决在缺乏成对训练数据的情况下，生物医学成像中无监督反问题求解的挑战。
• 开发一种灵活的框架，可适应对前向算子知识水平的差异（例如，已知或未知）。
• 仅使用未配对数据，在加速磁共振成像、超分辨率显微成像和低剂量CT等应用中实现高质量图像重建。
• 证明无监督cycleGAN可在无真实标签访问的情况下，实现与监督方法相近的性能。

提出的方法

• 该方法提出一种新颖的惩罚最小二乘（PLS）成本函数，将数据保真度与基于深度学习的反向路径惩罚作为运输成本相结合，用于建模反问题。
• 在该PLS成本下，将OT-cycleGAN推导为最优传输问题的Kantorovich对偶形式，将WGAN理论与循环一致性GAN联系起来。
• 该框架支持多种架构变体：当已知前向算子时采用单个生成器-判别器对；当算子未知时采用两个对。
• 生成器采用带有跳跃连接的U-Net架构，判别器使用带有实例归一化和ReLU激活的PatchGAN。
• 训练采用WGAN-GP以在判别器上强制满足1-Lipschitz约束，使用Adam优化器，批量大小为20。
• 该方法应用于三个反问题：加速磁共振成像、超分辨率显微成像和低剂量CT，全部使用未配对数据。

实验结果

研究问题

• RQ1 能否通过基于物理的运输成本，系统地从最优传输理论推导出cycleGAN架构？
• RQ2 在反问题中，引入基于深度学习的反向路径惩罚如何影响cycleGAN的稳定性和性能？
• RQ3 根据对前向算子知识的有无，从OT公式中会涌现出哪些cycleGAN的架构变体？
• RQ4 无监督OT-cycleGAN是否能在无成对数据的情况下，实现与监督学习在反问题中相当的重建质量？
• RQ5 所提出的框架在具有不同前向模型的多样化生物医学成像应用中，其泛化能力如何？

主要发现

• 所提出的OT-cycleGAN在低剂量CT重建中实现了38.20 dB的PSNR和0.92的SSIM，与监督基线（PSNR: 38.66 dB, SSIM: 0.93）非常接近。
• 在低剂量CT去噪任务中，无监督OT-cycleGAN在视觉效果和定量指标上均与监督学习方法表现相当，尽管未使用任何成对训练数据。
• 该方法成功利用仅未配对数据重建出高质量图像，适用于加速磁共振成像和超分辨率显微成像，展示了其在各类反问题中的泛化能力。
• 该框架支持多种架构形式——单个或双生成器-判别器对——具体取决于前向算子是否已知，从而实现定制化的网络设计。
• 在PLS成本中引入基于深度学习的反向路径惩罚，提升了重建保真度并稳定了训练过程，尤其在病态反问题中表现显著。
• 理论推导证实，OT-cycleGAN是具有新颖PLS成本的最优传输问题的Kantorovich对偶形式，为无监督GAN在反问题中的应用提供了系统性基础。