[论文解读] Neural Painters: A learned differentiable constraint for generating brushstroke paintings

Reiichiro Nakano|arXiv (Cornell University)|Apr 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 30

一句话总结

本文提出 Neural Painters，一种对真实绘画程序的可微分模拟，实现了通过笔触生成的端到端反向传播。通过使用变分自编码器（VAE）或生成对抗网络（GAN）训练神经画家，该方法加速了图像重建的收敛，并实现了新颖应用，例如用于可视化 ImageNet 类别的可微分图像参数化，以及内在风格迁移，其中笔触自然地通过内容损失优化决定艺术风格。

ABSTRACT

We explore neural painters, a generative model for brushstrokes learned from a real non-differentiable and non-deterministic painting program. We show that when training an agent to "paint" images using brushstrokes, using a differentiable neural painter leads to much faster convergence. We propose a method for encouraging this agent to follow human-like strokes when reconstructing digits. We also explore the use of a neural painter as a differentiable image parameterization. By directly optimizing brushstrokes to activate neurons in a pre-trained convolutional network, we can directly visualize ImageNet categories and generate "ideal" paintings of each class. Finally, we present a new concept called intrinsic style transfer. By minimizing only the content loss from neural style transfer, we allow the artistic medium, in this case, brushstrokes, to naturally dictate the resulting style.

研究动机与目标

• 开发一种对非可微、非确定性绘画程序的可微分模拟，以实现基于笔触的图像生成的端到端训练。
• 通过在笔触上使用可微分优化替代强化学习，加速基于笔触的图像重建任务中的收敛。
• 通过直接优化笔触以最大化特定类别的激活，实现对预训练 ImageNet 分类器内部表示的可视化。
• 提出内在风格迁移，其中艺术风格自然地从笔触基元中浮现，而无需显式风格损失。
• 探索将神经画家用作可微分图像参数化方法，在新颖的图像编辑与生成任务中实现应用。

提出的方法

• 训练变分自编码器（VAE）以从真实 MyPaint 程序输出中学习笔触的潜在空间。
• 训练基于 GAN 的神经画家，通过对抗性区分真实与生成的笔触，实现逼真笔触的生成。
• 将神经画家用作可微分图像参数化工具，支持通过笔触参数的反向传播以优化特定目标。
• 通过反向传播优化笔触，以最小化神经风格迁移中的内容损失，生成由笔触特征决定的艺术风格。
• 应用预条件化技术，以在数字重建过程中促使智能体遵循类人笔触模式。
• 将多个 64x64 画布拼接起来，生成仅受 GPU 内存限制的高分辨率输出。

实验结果

研究问题

• RQ1 在真实、不可微分的绘画数据上训练的可微分神经画家，是否能显著提升基于笔触的图像生成中的训练收敛速度？
• RQ2 如何通过直接优化笔触，利用神经画家实现对预训练 ImageNet 分类器内部表示的可视化？
• RQ3 是否可以通过仅最小化内容损失来实现内在风格迁移，使笔触媒介自然地定义最终的艺术风格？
• RQ4 与基于像素的优化相比，使用神经画家作为可微分图像参数化方法有何优势？
• RQ5 不同笔触约束（如灰度、固定大小）如何影响生成艺术输出的多样性与质量？

主要发现

• 神经画家方法在 CelebA 图像重建任务中取得了与 SPIRAL 相当的结果，采用非强化学习、对抗性训练范式，收敛速度显著快于强化学习。
• 将神经画家用作可微分图像参数化工具，实现了对笔触的直接优化，以最大化预训练网络中的激活，成功生成了如“熊猫”、“蜜蜂”和“小提琴”等 ImageNet 类别的多样化可视化结果。
• 通过仅最小化内容损失实现的内在风格迁移，生成了具有自然笔触特征的艺术化渲染，当应用灰度等约束时，视觉差异明显。
• 通过拼接多个 64x64 画布，该方法实现了仅受 GPU 内存限制的高分辨率图像生成，支持超越基础分辨率的可扩展输出。
• 预条件化显著提升了智能体在数字重建过程中学习类人笔触模式的能力，增强了视觉合理性。
• 该方法表明，艺术媒介约束（如笔触大小、压力和颜色）会自然地塑造输出风格，提示其在其他艺术媒介（如飞溅绘画或 3D 雕塑）中具有更广泛的应用潜力。