[论文解读] Vector Image Generation by Learning Parametric Layer Decomposition

Othman Sbai, Camille Couprie+1 more|arXiv (Cornell University)|Dec 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 5

一句话总结

本文提出一种深度生成模型，将图像表示为由颜色和可微分透明度掩码组成的参数化图层，实现了高分辨率、交互式图像生成，并具备直观的用户控制能力。该方法在CIFAR10、CelebA和ImageNet上实现了具有竞争力的重建质量，同时支持无限分辨率和用户可编辑的组件。

ABSTRACT

Deep image generation is becoming a tool to enhance artists and designers creativity potential. In this paper, we aim at making the generation process easier to understand and interact with. Inspired by vector graphics systems, we propose a new deep generation paradigm where the images are composed of simple layers, defined by their color and a parametric transparency mask. This presents a number of advantages compared to the commonly used convolutional network architectures. In particular, our layered decomposition allows simple user interaction, for example to update a given mask, or change the color of a selected layer. From a compact code, our architecture also generates images with a virtually infinite resolution, the color at each point in an image being a parametric function of its coordinates. We validate the viability of our approach in the auto-encoding framework by comparing reconstructions with state-of-the-art baselines given similar memory resources on CIFAR10, CelebA and ImageNet datasets and demonstrate several applications. We also show Generative Adversarial Network (GAN) results qualitatively different from the ones obtained with common approaches.

研究动机与目标

• 开发一种受矢量图形启发的更具可解释性和交互性的图像生成框架。
• 通过空间坐标的参数化函数，使用紧凑代码实现高分辨率图像合成。
• 支持直观的用户交互，如图层颜色或掩码编辑。
• 在自动编码器和生成对抗网络（GAN）框架中验证该方法，在相似内存约束下实现具有竞争力的性能。
• 证明通过参数化图层分解实现几乎无限分辨率图像生成的可行性。

提出的方法

• 该模型将图像分解为多个图层，每个图层由颜色和可微分的参数化透明度掩码定义。
• 使用神经网络将每个图层的不透明度建模为空间坐标的连续函数。
• 通过标准的alpha混合方式按顺序合成图层，生成最终图像。
• 采用端到端的自动编码目标训练该架构，以从图层参数重建输入图像。
• 通过将判别器替换为感知损失，将该框架扩展到GAN，以保持图层级别的解耦。
• 通过在任意坐标处评估参数化掩码，支持超出训练限制的分辨率缩放。

实验结果

研究问题

• RQ1 基于参数化图层分解的深度生成模型是否能在与最先进方法相当的重建质量下表现优异？
• RQ2 此类模型是否能仅使用紧凑代码实现高分辨率图像生成，并支持无限分辨率？
• RQ3 用户是否能有效编辑单个图层（如颜色或掩码）以修改生成的图像？
• RQ4 在内存效率和重建保真度方面，参数化图层模型与卷积神经网络相比表现如何？
• RQ5 该模型的GAN变体是否能产生与标准GAN相比在视觉上更具差异性和多样性的输出？

主要发现

• 在CIFAR10、CelebA和ImageNet上，与最先进基线方法相比，该模型在相似内存约束下实现了具有竞争力的重建质量。
• 该方法支持几乎无限分辨率的图像生成，因为像素值在推理时通过坐标的参数化函数计算得出。
• 用户交互（如编辑图层颜色或掩码）可导致直观且有意义的图像修改。
• 基于GAN的变体与标准GAN相比，生成了在视觉上不同且多样的图像样本，表明内容与风格的有效解耦。
• 参数化图层分解使图像生成流程比标准卷积架构更具可解释性和可控性。
• 该框架证明了分层、可微分表示可以被有效学习并用于自动编码和对抗性训练。