[论文解读] PaintBot: A Reinforcement Learning Approach for Natural Media Painting

Biao Jia, Fang Chen+3 more|arXiv (Cornell University)|Apr 3, 2019

Computer Graphics and Visualization Techniques参考文献 30被引用 8

一句话总结

PaintBot 提出了一种强化学习框架，训练一个数字绘画智能体，通过连续的高维动作（颜色、压力、笔触宽度、倾斜度）自主再现自然媒介绘画。通过结合课程学习与基于难度的采样策略的近端策略优化（PPO），该智能体在多种绘画风格中实现了高保真度的风格迁移，每幅图像的生成时间少于300秒。

ABSTRACT

We propose a new automated digital painting framework, based on a painting agent trained through reinforcement learning. To synthesize an image, the agent selects a sequence of continuous-valued actions representing primitive painting strokes, which are accumulated on a digital canvas. Action selection is guided by a given reference image, which the agent attempts to replicate subject to the limitations of the action space and the agent's learned policy. The painting agent policy is determined using a variant of proximal policy optimization reinforcement learning. During training, our agent is presented with patches sampled from an ensemble of reference images. To accelerate training convergence, we adopt a curriculum learning strategy, whereby reference patches are sampled according to how challenging they are using the current policy. We experiment with differing loss functions, including pixel-wise and perceptual loss, which have consequent differing effects on the learned policy. We demonstrate that our painting agent can learn an effective policy with a high dimensional continuous action space comprising pen pressure, width, tilt, and color, for a variety of painting styles. Through a coarse-to-fine refinement process our agent can paint arbitrarily complex images in the desired style.

研究动机与目标

• 开发一种数据驱动的端到端自动化自然媒介绘画框架，无需手动规则工程。
• 使用强化学习在连续的高维动作空间（颜色、压力、笔触宽度、倾斜度）中训练绘画智能体。
• 通过课程学习与基于难度的采样策略，提升训练效率与策略收敛性。
• 通过粗到精的细化过程，实现风格迁移与高分辨率图像生成。
• 在有限的训练数据下，验证方法在多种绘画风格间的泛化能力。

提出的方法

• 绘画智能体使用近端策略优化（PPO）在数字画布环境（SSPE）中学习策略，以选择每笔绘画的连续动作。
• 动作表示为6维向量：画笔颜色、压力、笔触宽度与倾斜度，实现丰富的笔触变化。
• 训练采用课程学习策略，根据当前策略下图像补丁的难度进行采样，从而加速收敛。
• 智能体将小图像补丁（41×82×3）作为状态表示，信息有限但计算负载降低。
• 损失函数包括像素级损失与感知损失，以指导策略学习并提升视觉质量。
• 通过逐步增加尺度的粗到精细化过程，实现高分辨率输出。

实验结果

研究问题

• RQ1 强化学习智能体是否能在连续的高维动作空间中，学习生成具有高视觉保真度的自然媒介绘画？
• RQ2 基于难度的采样策略与课程学习如何提升训练效率与策略性能？
• RQ3 在仅使用少量参考图像数据集的情况下，训练后的智能体在多种绘画风格间泛化的程度如何？
• RQ4 不同损失函数（像素级损失 vs. 感知损失）对生成绘画的质量与风格准确性有何影响？
• RQ5 当前动作表示与状态观测在捕捉复杂自然媒介效果方面存在哪些局限？

主要发现

• 绘画智能体成功学习到适用于多种自然媒介风格（如水彩、油画、点彩派）的稳健策略，仅依赖强化学习。
• 通过课程学习与基于难度的采样，相比均匀采样，训练收敛速度提升了约20%。
• 智能体在标准台式电脑上，每幅图像的生成时间少于300秒，可生成最高达1024×1024分辨率的绘画。
• 与仅使用像素级损失相比，感知损失能显著提升视觉质量与风格迁移的准确性。
• 失败案例包括因数据集偏差导致的颜色偏差输出，以及因动作表示无约束而产生的不自然笔触模式，尤其在中途变色时更为明显。
• 该方法在风格迁移方面表现出良好泛化能力：在梵高、透纳、维米尔或沈周等画家作品上训练的智能体，能成功在新参考图像上再现目标风格。