[论文解读] ZM-Net: Real-time Zero-shot Image Manipulation Network

Hao Wang, Xiaodan Liang+3 more|arXiv (Cornell University)|Mar 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 28

一句话总结

ZM-Net 是一种实时、端到端可微的神经网络，通过联合训练参数网络（PNet）以从多样化引导信号（如风格图像或文本嵌入）生成变换参数，以及变换网络（TNet）将这些参数应用于内容图像，从而实现零样本图像操作。即使面对未见过的信号，该模型也能实现高质量、实时的图像操作（每张图像仅需数十毫秒），并能使用单一模型泛化至 23,307 幅风格图像。

ABSTRACT

Many problems in image processing and computer vision (e.g. colorization, style transfer) can be posed as 'manipulating' an input image into a corresponding output image given a user-specified guiding signal. A holy-grail solution towards generic image manipulation should be able to efficiently alter an input image with any personalized signals (even signals unseen during training), such as diverse paintings and arbitrary descriptive attributes. However, existing methods are either inefficient to simultaneously process multiple signals (let alone generalize to unseen signals), or unable to handle signals from other modalities. In this paper, we make the first attempt to address the zero-shot image manipulation task. We cast this problem as manipulating an input image according to a parametric model whose key parameters can be conditionally generated from any guiding signal (even unseen ones). To this end, we propose the Zero-shot Manipulation Net (ZM-Net), a fully-differentiable architecture that jointly optimizes an image-transformation network (TNet) and a parameter network (PNet). The PNet learns to generate key transformation parameters for the TNet given any guiding signal while the TNet performs fast zero-shot image manipulation according to both signal-dependent parameters from the PNet and signal-invariant parameters from the TNet itself. Extensive experiments show that our ZM-Net can perform high-quality image manipulation conditioned on different forms of guiding signals (e.g. style images and attributes) in real-time (tens of milliseconds per image) even for unseen signals. Moreover, a large-scale style dataset with over 20,000 style images is also constructed to promote further research.

研究动机与目标

• 解决在多种模态下对未见过的引导信号实现实时、零样本图像操作的挑战。
• 开发一种可扩展的框架，能够在不重新训练的情况下处理超过 20,000 种不同风格图像。
• 实现基于任意信号（如艺术风格、描述性属性或词嵌入）的高质量图像操作，即使这些信号在训练期间未出现过。
• 构建一个大规模、多样化的风格数据集，包含 23,307 幅图像，以支持未来在零样本图像操作方面的研究。

提出的方法

• ZM-Net 将参数网络（PNet）与变换网络（TNet）结合，形成一种用于条件图像操作的端到端、完全可微的架构。
• PNet 使用深层卷积或全连接架构（带残差连接）基于任意引导信号（包括未见过的信号）生成分层变换参数。
• TNet 将这些与信号相关的参数与自身的信号无关参数结合，将输入内容图像转换为风格化输出。
• 模型通过联合内容损失与风格损失进行训练，损失网络接收对应于引导信号的图像（如“正午”或“夜晚”图像），而 PNet 接收信号本身（如词嵌入或风格图像）。
• 采用串行 PNet 架构以提升特征抽象能力并减少伪影，在定性结果上优于并行 PNet。
• 该框架支持实时推理（每张图像仅需数十毫秒），可实现从静态图像实现实时图像动画。

实验结果

研究问题

• RQ1 单一神经网络能否在来自风格图像和文本属性等多样化模态的未见过的引导信号下，实现实时图像操作？
• RQ2 当仅在“正午”和“夜晚”上进行训练时，零样本模型对未见过的信号（如“早晨”或“下午”）的泛化能力如何？
• RQ3 统一模型能否在不重新训练的情况下处理超过 20,000 种不同风格图像，同时保持高图像质量和推理速度？
• RQ4 该架构能否仅使用图像训练数据实现实时单张图像动画？
• RQ5 PNet 架构选择（串行 vs. 并行）如何影响零样本图像操作的质量与真实感？

主要发现

• ZM-Net 实现了实时推理，每张图像的推理时间在数十毫秒量级，支持交互式和实时应用。
• 该模型能有效泛化至未见过的引导信号：在仅用“正午”和“夜晚”训练后，成功生成合理的“早晨”和“下午”视图，无需微调。
• 采用串行 PNet 的设计相比并行 PNet 能产生更高质量的结果，伪影更少，尤其在保持真实光照与色彩一致性方面表现更优。
• 使用压缩的描述性属性词嵌入（2D）进行训练，可实现语义感知的图像操作，例如将白天照片转换为具有合适光照的夜晚视图。
• 构建的 23,307 幅风格图像数据集使测试损失相比小规模数据集几乎减半，提升了泛化能力与多样性。
• ZM-Net 在无需模型微调的情况下，实现了与微调方法相当的图像质量，展现出强大的零样本泛化能力。