[论文解读] Thermal Infrared Colorization via Conditional Generative Adversarial Network

Xiaodong Kuang, Xiubao Sui+4 more|arXiv (Cornell University)|Oct 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 10

一句话总结

本文提出一种具有粗到细生成器的条件生成对抗网络（cGAN），用于将热红外图像转换为逼真的彩色RGB图像。通过结合内容损失、对抗损失、感知损失和总变差损失，该方法在保持全局结构和生成逼真纹理方面表现优异，定量和定性结果均优于现有方法。

ABSTRACT

Transforming a thermal infrared image into a realistic RGB image is a challenging task. In this paper we propose a deep learning method to bridge this gap. We propose learning the transformation mapping using a coarse-to-fine generator that preserves the details. Since the standard mean squared loss cannot penalize the distance between colorized and ground truth images well, we propose a composite loss function that combines content, adversarial, perceptual and total variation losses. The content loss is used to recover global image information while the latter three losses are used to synthesize local realistic textures. Quantitative and qualitative experiments demonstrate that our approach significantly outperforms existing approaches.

研究动机与目标

• 解决将单色热红外图像转换为逼真RGB图像的挑战。
• 克服标准均方误差损失在保持感知质量和纹理真实感方面的局限性。
• 开发一种深度学习框架，在生成高保真彩色输出的同时保持结构细节。
• 通过结合多种损失分量的复合损失函数，提升图像合成质量。

提出的方法

• 采用粗到细生成器架构，逐步细化图像细节并保持结构保真度。
• 复合损失函数整合了内容损失（用于全局结构）、对抗损失（用于真实感）、感知损失（用于纹理相似性）和总变差损失（用于平滑性）。
• 条件生成对抗网络框架通过输入热红外图像来条件化生成对应的RGB输出。
• 判别器经过训练，能够区分真实RGB图像与生成图像，从而促进真实纹理的生成。
• 感知损失通过预训练的VGG网络特征计算，以在特征层面使生成图像与真实图像对齐。
• 整体训练目标优化生成器，使其最小化复合损失，同时欺骗判别器。

实验结果

研究问题

• RQ1 条件生成对抗网络能否有效学习从热红外图像到RGB图像的映射，且具备高感知质量？
• RQ2 结合多种损失类型的复合损失函数相比标准均方误差损失，如何提升着色效果？
• RQ3 粗到细生成器在热红外到RGB图像转换过程中，能在多大程度上保留细微细节？
• RQ4 与基线方法相比，引入感知损失和对抗损失是否能带来更真实的纹理合成效果？

主要发现

• 所提方法在定量指标和视觉质量方面均显著优于现有最先进方法。
• 复合损失函数相比仅使用均方误差，能生成更逼真的纹理并更好地保留结构细节。
• 感知损失和对抗损失的引入提升了真实感，经与基线方法的定性对比得到验证。
• 粗到细生成器设计增强了细节恢复能力，尤其在边缘和纹理复杂区域表现更优。
• 该方法在基准数据集上表现优异，PSNR和SSIM等指标均有可测量的提升。
• 视觉结果表明，生成图像比竞争方法更自然、更具视觉可信度。