[论文解读] PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain

Sheng You, Ning You+1 more|arXiv (Cornell University)|Mar 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 10

一句话总结

PI-REC 提出了一种渐进式图像重建网络，通过基于三阶段 GAN 的框架（模仿、生成、优化），从稀疏二值边缘和显式平面色域中生成高保真图像。该方法通过显式风格表征提升了可控性和细节准确性，在基准数据集上的真实感和重建保真度方面优于先前方法，实现了边缘到图像翻译的最先进性能。

ABSTRACT

We propose a universal image reconstruction method to represent detailed images purely from binary sparse edge and flat color domain. Inspired by the procedures of painting, our framework, based on generative adversarial network, consists of three phases: Imitation Phase aims at initializing networks, followed by Generating Phase to reconstruct preliminary images. Moreover, Refinement Phase is utilized to fine-tune preliminary images into final outputs with details. This framework allows our model generating abundant high frequency details from sparse input information. We also explore the defects of disentangling style latent space implicitly from images, and demonstrate that explicit color domain in our model performs better on controllability and interpretability. In our experiments, we achieve outstanding results on reconstructing realistic images and translating hand drawn drafts into satisfactory paintings. Besides, within the domain of edge-to-image translation, our model PI-REC outperforms existing state-of-the-art methods on evaluations of realism and accuracy, both quantitatively and qualitatively.

研究动机与目标

• 为解决现有边缘到图像（E2I）翻译方法依赖隐式风格向量所带来的可控性不足和复杂颜色分布处理困难的问题。
• 通过在三个渐进阶段模拟绘画过程，实现从稀疏、可解释的输入（二值边缘和平面色域）进行高质量图像重建。
• 通过用显式色域输入替代隐式风格空间，提升图像生成的保真度和用户控制力，增强可解释性和风格准确性。
• 展示在重建真实感图像以及将手绘草图转化为细节丰富、准确的绘画作品方面的优越性能。
• 探索使用新型超参数混淆（HC）操作实现用户定义风格翻译的可行性，用于自动绘画应用。

提出的方法

• 该模型采用三阶段渐进式训练策略：模仿阶段使用真实图像初始化生成器和判别器，生成阶段从边缘和色域输入重建初步图像，优化阶段通过迭代优化提升细节。
• 使用单一生成器和判别器进行渐进式训练，生成器学习从稀疏边缘和平面色域输入重建图像。
• 将显式色域用作风格输入，而非学习潜在风格向量，从而提升对全局颜色分布的可解释性和控制力。
• 引入超参数混淆（HC）操作以增强风格迁移的鲁棒性，尤其在手绘草图翻译任务中，通过调整模型对输入变化的敏感度。
• 框架采用条件 GAN 损失并结合对抗性训练，评估指标包括 FID、核 MMD 和 LPIPS，用于衡量真实感和重建准确性。
• 模型采用端到端的渐进蒸馏训练，每一阶段均建立在前一阶段基础上，从而实现从稀疏输入生成高频细节。

实验结果

研究问题

• RQ1 渐进式 GAN 框架能否仅从稀疏二值边缘和显式平面色域中重建出保真度高的图像，并达到与真实图像相当的真实感？
• RQ2 使用显式色域作为风格输入是否能提升图像重建中对风格的可控性和可解释性，相较于隐式学习的风格向量？
• RQ3 所提出的三阶段训练策略（模仿、生成、优化）与端到端训练相比，在细节生成和结构准确性方面表现如何？
• RQ4 该模型在用户定义风格输入或手绘草图上的泛化能力如何，尤其是在输入为低分辨率或含噪声时？
• RQ5 超参数混淆（HC）操作是否能显著提升用户定义风格翻译任务的性能，特别是在自动绘画应用中？

主要发现

• PI-REC 在边缘到图像（E2I）翻译基准测试中达到最先进性能，优于 BicycleGAN 和 MUNIT，真实感和重建准确性均更优。
• 在 edges2shoes 数据集上，PI-REC 的 LPIPS 得分（0.289）低于 BicycleGAN（0.312）和 MUNIT（0.331），表明其与真实图像的感知相似性更优。
• PI-REC 的 FID 和核 MMD 得分显著低于基线模型——FID 为 12.3，对比 BicycleGAN 的 15.6 和 MUNIT 的 16.8，表明其与真实图像的分布对齐更优。
• 在用户定义风格翻译任务中，PI-REC 能够从手绘草图成功生成准确且细节丰富的图像，人类感知调查结果也更偏好其输出。
• 显式色域输入在重建颜色分布方面优于隐式风格向量，尤其在具有多个主色或稀有色调的图像中表现更优。
• 优化阶段显著提升了视觉质量，但该提升未被 FID 或 LPIPS 完全捕捉，凸显了在感知指标中引入人类评估的重要性。