[论文解读] Smart, Sparse Contours to Represent and Edit Images

Tali Dekel, Chuang Gan+3 more|arXiv (Cornell University)|Dec 21, 2017

Computer Graphics and Visualization Techniques参考文献 39被引用 5

一句话总结

本文提出了一种基于生成对抗网络（GAN）的深度学习框架，通过利用学习到的语义先验，从稀疏轮廓输入（仅需5%的像素位置）重建出高保真度图像，实现纹理和细节的合成。该方法通过直观的轮廓操作实现语义一致的图像编辑，在人类判断和人脸识别评估中，结果与真实图像几乎无法区分。

ABSTRACT

We study the problem of reconstructing an image from information stored at contour locations. We show that high-quality reconstructions with high fidelity to the source image can be obtained from sparse input, e.g., comprising less than $6\%$ of image pixels. This is a significant improvement over existing contour-based reconstruction methods that require much denser input to capture subtle texture information and to ensure image quality. Our model, based on generative adversarial networks, synthesizes texture and details in regions where no input information is provided. The semantic knowledge encoded into our model and the sparsity of the input allows to use contours as an intuitive interface for semantically-aware image manipulation: local edits in contour domain translate to long-range and coherent changes in pixel space. We can perform complex structural changes such as changing facial expression by simple edits of contours. Our experiments demonstrate that humans as well as a face recognition system mostly cannot distinguish between our reconstructions and the source images.

研究动机与目标

• 解决从极稀疏轮廓输入重建高质量图像的挑战，传统扩散模型或基于边缘的方法在保留纹理和细节方面表现不佳。
• 通过轮廓操作实现直观、语义有意义的图像编辑，将局部编辑转化为像素空间中连贯的全局变化。
• 从图像领域（如人脸、狗）中学习轮廓结构与纹理之间的统计相关性，以感知上准确的方式“幻化”缺失内容。
• 在极低输入数据量下实现高重建保真度，将轮廓密度降低至图像像素的6%以下，同时保持感知一致性和语义一致性。
• 通过人类感知、人脸识别系统和纹理统计指标评估方法的鲁棒性，证明其优于现有基于轮廓的重建技术。

提出的方法

• 该方法采用两阶段级联的基于GAN的网络：第一阶段从稀疏轮廓特征中重建粗略的图像结构和颜色，第二阶段恢复细粒度的纹理和细节。
• 输入特征由轮廓位置处存储的梯度信息构成，使模型能够在无需密集像素数据的情况下推断局部图像结构。
• 模型在领域特定的数据集（如VGG-Faces、Stanford Dogs）上进行训练，以学习轮廓几何与纹理模式（如面部特征或毛发）之间的统计相关性。
• 第二阶段使用GAN损失确保纹理合成的真实性，并采用基于Gram矩阵的纹理损失对感知相似性进行定量评估。
• 该框架支持通过修改轮廓位置、尺度或从参考图像复制轮廓进行编辑，编辑结果通过生成模型在像素空间中一致传播。
• 系统采用双流架构：一路处理轮廓几何与梯度数据，另一路通过潜在代码条件生成高频细节。

实验结果

研究问题

• RQ1 能否在仅使用图像像素6%以下的轮廓输入下，实现高保真度图像重建，同时保留精细纹理和语义结构？
• RQ2 基于轮廓的编辑在局部编辑时，能在多大程度上在像素空间中产生连贯且语义有意义的改变？
• RQ3 与真实图像相比，重建图像在人类感知和自动人脸识别系统中的表现如何？
• RQ4 在稀疏轮廓重建中，基于GAN的生成建模是否显著优于基于扩散或基于块的方法？
• RQ5 当模型应用于训练分布之外的图像领域时，其性能如何退化？

主要发现

• 模型可从仅5%像素位置的输入实现高保真度重建，人类观察者无法可靠区分重建结果与真实图像，在混淆测试中得分接近50%。
• 使用FaceNet的人脸识别表明，3%轮廓稀疏度下的重建仍保留身份信息，L2嵌入距离低于同一人分类的阈值。
• 采用GAN损失的HFN（高保真度网络）在所有稀疏度水平下均实现了最低的纹理损失（通过Gram矩阵测量），优于LFN和同质扩散方法。
• 即使在低稀疏度（如7–15%）下，重建仍保持高度准确，15%与7%之间性能下降极小，得益于对高频细节的有效恢复。
• 通过轮廓操作进行编辑可产生连贯结果：例如移动眉毛可自然改变面部表情，从参考图像复制头发轮廓可生成逼真的发质纹理。
• 当应用于训练分布之外的领域时，模型会失效——例如，将人脸模型应用于狗图像会生成类似狗的纹理，反之亦然，表明其具有领域特定的泛化能力。