[论文解读] Old Photo Restoration via Deep Latent Space Translation

Ziyu Wan, Bo Zhang+5 more|arXiv (Cornell University)|Sep 14, 2020

Advanced Image Processing Techniques被引用 11

一句话总结

本文提出了一种深度潜在空间翻译框架，通过利用真实图像、合成图像对和干净参考图像，实现对严重退化老照片的修复。该方法使用变分自编码器（VAE）对齐潜在空间中的域，采用部分非局部模块处理结构化缺陷，并引入端到端的级联式人脸精细化网络以实现高保真度的人像重建，在真实世界老照片上实现了最先进的感知质量。

ABSTRACT

We propose to restore old photos that suffer from severe degradation through a deep learning approach. Unlike conventional restoration tasks that can be solved through supervised learning, the degradation in real photos is complex and the domain gap between synthetic images and real old photos makes the network fail to generalize. Therefore, we propose a novel triplet domain translation network by leveraging real photos along with massive synthetic image pairs. Specifically, we train two variational autoencoders (VAEs) to respectively transform old photos and clean photos into two latent spaces. And the translation between these two latent spaces is learned with synthetic paired data. This translation generalizes well to real photos because the domain gap is closed in the compact latent space. Besides, to address multiple degradations mixed in one old photo, we design a global branch with apartial nonlocal block targeting to the structured defects, such as scratches and dust spots, and a local branch targeting to the unstructured defects, such as noises and blurriness. Two branches are fused in the latent space, leading to improved capability to restore old photos from multiple defects. Furthermore, we apply another face refinement network to recover fine details of faces in the old photos, thus ultimately generating photos with enhanced perceptual quality. With comprehensive experiments, the proposed pipeline demonstrates superior performance over state-of-the-art methods as well as existing commercial tools in terms of visual quality for old photos restoration.

研究动机与目标

• 解决因划痕、灰尘、模糊和色彩褪色等复杂混合退化导致的老照片修复挑战。
• 克服先前方法中合成训练数据与真实老照片之间的域差距，从而提升泛化能力。
• 提升人脸细节的修复质量，因其对感知质量至关重要，而现有方法常难以有效保留。
• 构建统一框架，通过专用网络分支同时处理非结构化缺陷（如噪声）与结构化缺陷（如划痕）。
• 在真实世界、真实场景的老照片上，实现优于当前最先进方法及商业工具的视觉质量。

提出的方法

• 提出一种三元组域翻译框架，使用真实老照片、合成退化图像以及对应的干净真实图像作为输入。
• 训练两个变分自编码器（VAE），将真实老照片和干净图像映射到共享潜在空间，以减少域偏移。
• 训练一个合成图像到图像的翻译网络，学习退化图像与干净图像在潜在空间中的映射关系，从而实现对真实数据的泛化能力。
• 设计部分非局部模块，用于在潜在空间中捕捉长距离依赖关系，实现对划痕、灰尘等结构化缺陷的有效修复。
• 采用独立的级联式生成器，结合分层空间自适应条件控制，对人脸区域进行精细化处理，以保持身份一致性和纹理细节。
• 将人脸精细化网络与主修复流程联合训练，以减少分布偏差并提升生成结果的真实感。

实验结果

研究问题

• RQ1 潜在空间翻译框架能否有效从合成数据泛化到具有复杂退化的现实世界老照片？
• RQ2 模型如何同时处理老照片中的非结构化缺陷（如噪声）与结构化缺陷（如划痕）？
• RQ3 专用人脸精细化网络是否能在不破坏原始结构或身份特征的前提下提升感知质量？
• RQ4 生成器中分层空间注入是否优于单尺度条件控制，从而实现更优的人脸重建效果？
• RQ5 通过共享VAE实现域对齐，相比直接像素级翻译，是否能显著提升性能？

主要发现

• 所提方法在真实老照片上的视觉质量优于当前最先进方法及商业工具，尤其在人脸细节恢复方面表现突出。
• 采用共享VAE进行域对齐显著提升了泛化能力，有效缓解了合成数据到真实数据翻译中常见的域偏移问题。
• 部分非局部模块通过利用全局上下文信息，有效恢复了结构化缺陷，实现了更结构一致的图像修复。
• 结合分层空间注入的级联式人脸精细化方法，相比单尺度注入或基线GAN模型，能生成更真实且身份保持性更好的人脸。
• 在合成数据集上的定量评估显示，分层注入方法在FID、LPIPS、PSNR和SSIM等指标上均表现最优，显著优于单尺度基线模型。
• 该方法在处理复杂阴影伪影方面存在局限，主要因训练数据不足，提示未来需引入更多样化的数据或显式建模光照效应。