[论文解读] ReLGAN: Generalization of Consistency for GAN with Disjoint Constraints and Relative Learning of Generative Processes for Multiple Transformation Learning

Chiranjib Sur|arXiv (Cornell University)|Jun 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 4

一句话总结

ReLGAN 提出了一种用于图像到图像翻译的新型 GAN 架构，通过在变换学习（TL）和相对学习（ReL）中引入分离约束，提升了模型的一致性和泛化能力。通过将特征级变换与背景纹理优化解耦，ReLGAN 在 zebrac-horse 数据集上的表现优于 CycleGAN，生成结果在保真度和伪影减少方面均有提升，尤其在与医学相关的图像翻译任务中表现更优。

ABSTRACT

Image to image transformation has gained popularity from different research communities due to its enormous impact on different applications, including medical. In this work, we have introduced a generalized scheme for consistency for GAN architectures with two new concepts of Transformation Learning (TL) and Relative Learning (ReL) for enhanced learning image transformations. Consistency for GAN architectures suffered from inadequate constraints and failed to learn multiple and multi-modal transformations, which is inevitable for many medical applications. The main drawback is that it focused on creating an intermediate and workable hybrid, which is not permissible for the medical applications which focus on minute details. Another drawback is the weak interrelation between the two learning phases and TL and ReL have introduced improved coordination among them. We have demonstrated the capability of the novel network framework on public datasets. We emphasized that our novel architecture produced an improved neural image transformation version for the image, which is more acceptable to the medical community. Experiments and results demonstrated the effectiveness of our framework with enhancement compared to the previous works.

研究动机与目标

• 解决现有 GAN 在学习多种、多模态且一致的图像变换方面存在的局限性，特别是在对精度要求较高的医学影像领域。
• 通过为特征学习与纹理学习引入分离约束，克服循环一致性 GAN 中因混合化而导致的结构完整性丧失问题。
• 通过引入相对学习（ReL）作为生成器之间的对比性、梯度平滑机制，提升无监督图像到图像翻译中的泛化能力和表征学习能力。
• 通过保留细粒度细节并最小化引入虚假物体，实现更精确且符合医学标准的图像翻译。
• 在公开数据集上验证框架的有效性，特别是在缺乏配对数据的跨域翻译任务中。

提出的方法

• 引入变换学习（TL）作为分离约束机制，独立建模多个生成器之间的特征级变换（如器官检测、着色等）。
• 实施相对学习（ReL）作为对比学习策略，评估两个生成器输出图像之间的差异，提升纹理一致性并减少锐利梯度。
• 将学习过程分解为两个阶段：TL 负责关键特征的转换，ReL 负责背景与结构的优化，避免梯度饱和。
• 采用双生成器、双判别器架构并保持循环一致性，但通过引入分离约束进行泛化，避免真实与生成特征的强制混合。
• 采用端到端训练，结合对抗损失、循环一致性损失以及由 ReL 衍生出的新型相对一致性损失，以稳定训练并提升泛化能力。
• 通过比较生成器之间的潜在空间表示，强制实现相对知识迁移，从而在无需成对监督的情况下实现更平滑、更自然的图像翻译。

实验结果

研究问题

• RQ1 如何使基于 GAN 的图像到图像翻译方法具备泛化能力，以支持多种、多模态的变换，同时不损害特征保真度？
• RQ2 哪些机制能够提升无监督图像翻译中的一致性并减少伪影生成，特别是在对结构准确性要求极高的医学影像领域？
• RQ3 在变换与相对学习中引入分离约束，是否能够超越标准循环一致性，在生成器与判别器阶段之间实现更优的协调？
• RQ4 与传统多损失训练相比，相对学习（ReL）在提升泛化能力与减少过拟合方面有多大改善？
• RQ5 在缺乏成对训练数据的跨域图像翻译任务中，ReLGAN 相较于 CycleGAN 的表现如何？

主要发现

• ReLGAN 在 zebra-horse 数据集上的表现优于 CycleGAN，生成的图像更逼真、细节更丰富，且伪影更少，尤其在非斑马区域表现更优。
• 该模型成功保留了非目标特征（如非马匹的棕色纹理）的结构完整性，而 CycleGAN 常常会对其造成失真。
• 相对学习（ReL）有助于实现更平滑的梯度，提升泛化能力，减少过拟合，并增强背景纹理翻译的质量。
• TL 与 ReL 中的分离约束使得特征学习与纹理学习之间的协调更优，避免了标准 GAN 中常见的混合化问题。
• 视觉评估确认，ReLGAN 生成的图像具有更高的感知质量，并且在语义上与真实图像对齐更好，尤其在医学相关场景中表现突出。
• 该框架在医学影像中使用的内部数据集上表现出色，表明其在对高精度有严格要求的临床应用中具有潜在价值。