[论文解读] Simultaneously Color-Depth Super-Resolution with Conditional Generative Adversarial Network

Lijun Zhao, Huihui Bai+4 more|arXiv (Cornell University)|Aug 30, 2017

Advanced Image Processing Techniques参考文献 3被引用 13

一句话总结

该论文提出了一种条件生成对抗网络（CDcGAN），用于同时实现彩色图像与深度图像的超分辨率重建，通过利用低分辨率彩色图像与深度图像之间的互信息，结合对抗损失、数据损失、总变差损失以及梯度差异损失，提升两者的重建质量。该方法在感知质量与边缘清晰度方面优于当前最先进方法，同时在联合图像平滑与边缘检测方面也取得成功。

ABSTRACT

Recently, Generative Adversarial Network (GAN) has been found wide applications in style transfer, image-to-image translation and image super-resolution. In this paper, a color-depth conditional GAN is proposed to concurrently resolve the problems of depth super-resolution and color super-resolution in 3D videos. Firstly, given the low-resolution depth image and low-resolution color image, a generative network is proposed to leverage mutual information of color image and depth image to enhance each other in consideration of the geometry structural dependency of color-depth image in the same scene. Secondly, three loss functions, including data loss, total variation loss, and 8-connected gradient difference loss are introduced to train this generative network in order to keep generated images close to the real ones, in addition to the adversarial loss. Experimental results demonstrate that the proposed approach produces high-quality color image and depth image from low-quality image pair, and it is superior to several other leading methods. Besides, we use the same neural network framework to resolve the problem of image smoothing and edge detection at the same time.

研究动机与目标

• 解决在 3D 视频应用中同时增强低分辨率彩色图像与深度图像的挑战。
• 利用彩色图像与深度图像之间的结构与几何依赖关系，提升超分辨率性能。
• 克服现有方法在深度图像超分辨率中常见的纹理复制伪影与边缘模糊问题。
• 构建一个统一的深度学习框架，能够同时处理多种图像修复任务，包括超分辨率、平滑与边缘检测。
• 在均方误差优化之外，进一步提升感知质量与高频细节恢复能力。

提出的方法

• 提出一种基于低分辨率彩色与深度图像对的条件生成对抗网络架构（CDcGAN），用于生成高分辨率输出。
• 结合对抗损失，集成三种辅助损失——数据损失、总变差（TV）损失以及带 L1 范数的 8-连通梯度差异损失，以稳定训练并提升生成结果的真实感。
• 采用跳跃连接与残差学习机制，以保留细节并实现跨尺度的有效特征传播。
• 通过最小化联合损失函数，训练生成器以重建高分辨率彩色与深度图像，从而促进结构一致性与边缘锐度。
• 利用训练好的 CDcGAN 在下游任务中实现图像平滑与边缘检测，通过利用学习到的梯度与结构特征。
• 在图像域与梯度域中同时应用网络，实现与 L0 最小化方法相当的边缘保持平滑效果。

实验结果

研究问题

• RQ1 条件生成对抗网络能否有效学习利用彩色与深度图像之间的结构依赖关系，实现联合超分辨率？
• RQ2 辅助损失（TV 损失、梯度差异损失、数据损失）在提升感知质量与减少伪影方面起到了何种作用？
• RQ3 所提方法在多大程度上优于现有的基于滤波、基于优化以及基于 CNN 的联合超分辨率技术？
• RQ4 同一训练架构能否被有效复用于相关图像修复任务，如图像平滑与边缘检测？
• RQ5 该方法是否能有效缓解深度图像超分辨率中常见的纹理复制与深度渗漏伪影？

主要发现

• 尽管 PSNR 和 SSIM 分数略低，所提出的 CDcGAN 方法在彩色与深度图像的超分辨率结果中，相比 SRCNN 与 VDSR，展现出更高的感知质量与更锐利的边缘。
• 视觉结果表明，CDcGAN 避免了 SRCNN 等基线方法中常见的严重伪影，尤其在高频区域表现更优。
• 该方法在深度图像质量方面表现卓越，边界更清晰，渗漏伪影更少，显著提升了前景提取与基于深度的渲染等下游应用的效果。
• 该架构在图像平滑与边缘检测任务中具有良好泛化能力，其结果在梯度域中与 L0 梯度最小化方法相当。
• TV 损失与 8-连通梯度差异损失的引入显著减少了伪影并提升了边缘保持能力，优于仅依赖 L2 或 L1 数据损失的方法。
• 即使与使用高分辨率彩色图像作为先验的先进优化方法（如 HQDU 与 MRF）相比，CDcGAN 仍表现出强大性能，表明其具备出色的鲁棒性与效率。