[论文解读] Neural Photo Editing with Introspective Adversarial Networks

Andrew Brock, Theodore Lim+2 more|arXiv (Cornell University)|Sep 22, 2016

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 243

一句话总结

本文提出 Neural Photo Editor 和 Introspective Adversarial Network (IAN)，一种与 VAE-GAN 相结合的混合模型，具有 Multiscale Dilated Convolutions 和 Orthogonal Regularization，能够对现有图像进行照片级真实感的编辑并实现强重构，在 CelebA、SVHN、CIFAR-100 和 Imagenet 上展示，半监督结果具竞争力。

ABSTRACT

The increasingly photorealistic sample quality of generative image models suggests their feasibility in applications beyond image generation. We present the Neural Photo Editor, an interface that leverages the power of generative neural networks to make large, semantically coherent changes to existing images. To tackle the challenge of achieving accurate reconstructions without loss of feature quality, we introduce the Introspective Adversarial Network, a novel hybridization of the VAE and GAN. Our model efficiently captures long-range dependencies through use of a computational block based on weight-shared dilated convolutions, and improves generalization performance with Orthogonal Regularization, a novel weight regularization method. We validate our contributions on CelebA, SVHN, and CIFAR-100, and produce samples and reconstructions with high visual fidelity.

研究动机与目标

• 通过潜在空间操控接口（情境画笔）实现对现有图像的大规模、语义一致的编辑。
• 开发一个能够以高保真度重构和高效推理的 VAE-GAN 混合框架（IAN）。
• 通过 Multiscale Dilated Convolution 块与 Orthogonal Regularization 提升模型表达能力和重构质量。
• 在多样数据集（CelebA、SVHN、CIFAR-100、Imagenet）上展示该方法并呈现具有竞争力的半监督表现。
• 提供一种编辑迁移机制，通过掩模将以重构为导向的改动应用到原始图像。

提出的方法

• 引入 Neural Photo Editor，通过情境画笔间接操控潜在空间以及重构-编辑转移公式。
• 提出 Introspective Adversarial Network (IAN)，一种 VAE-GAN 混合框架，共享编码器/判别器特征以实现高效推理和改进重构。
• 对生成器/编码器使用三种损失成分：L_img（L1 像素级）、L_feature（判别器空间中的特征损失）、L_adv（三元对抗损失），再加上用于 VAE 正则化的 KL 散度项。
• 采用三元对抗损失，具有三路判别器输出（真实、生成、重构），以稳定训练并提升样本质量。
• 在生成器中引入 Multiscale Dilated Convolution (MDC) 块以高效扩大感受野；提供 Standard MDC 和 Full-Rank MDC 变体。
• 引入 Orthogonal Regularization，以鼓励权重保持在正交流形附近，提升泛化和重构稳定性。

实验结果

研究问题

• RQ1 一个神经编辑器是否可以通过操控潜在表示而非像素来对现有图像进行有语义意义的编辑？
• RQ2 将 VAE 风格推理与 GAN 生成集成（IAN）是否能给出适用于照片编辑的高保真重构？
• RQ3 MDC 块和 Orthogonal Regularization 是否能提升生成模型的重构质量和泛化能力？
• RQ4 该模型是否能够在多样数据集上表现良好并支持半监督学习任务？
• RQ5 编辑迁移掩模方法在将重构中的编辑应用回原始图像上的有效性如何？

主要发现

• 神经照片编辑器能够通过将像素级差异反向传播到潜在空间来实现大规模、连贯的编辑，从而产生有语义意义的变化。
• IAN 通过重用判别器特征作为推理网络实现高效的推理与生成，提升重构质量和参数效率。
• MDC 块在保持较低参数成本的同时扩展感受野，在各任务上获得更好的重构和性能表现。
• Orthogonal Regularization 提高了跨数据集的泛化与重构质量（例如 CelebA 属性任务和 CIFAR-100 消融研究）。
• 三元对抗损失（真实、生成、重构）提升样本质量并稳定训练，从而获得更好的重构和内插结果。
• 在半监督的 SVHN 任务中，IAN 获得具有竞争力的准确率，在不同评估设置下相较若干基线取得改进。