[论文解读] Unsupervised Doodling and Painting with Improved SPIRAL

John F. J. Mellor, Eunbyung Park+8 more|arXiv (Cornell University)|Oct 2, 2019

Aesthetic Perception and Analysis参考文献 43被引用 24

一句话总结

本文提出SPIRAL++，一种改进的强化学习框架，通过在模拟环境中无监督的、基于画笔的绘画，训练智能体生成图像。通过联合训练策略网络和判别器，智能体学会生成视觉上抽象且逼真的图像——例如仅用少量笔触便能绘制出人脸——且无需任何监督，展示了通过具身模拟产生的涌现视觉抽象能力。

ABSTRACT

We investigate using reinforcement learning agents as generative models of images (extending arXiv:1804.01118). A generative agent controls a simulated painting environment, and is trained with rewards provided by a discriminator network simultaneously trained to assess the realism of the agent's samples, either unconditional or reconstructions. Compared to prior work, we make a number of improvements to the architectures of the agents and discriminators that lead to intriguing and at times surprising results. We find that when sufficiently constrained, generative agents can learn to produce images with a degree of visual abstraction, despite having only ever seen real photographs (no human brush strokes). And given enough time with the painting environment, they can produce images with considerable realism. These results show that, under the right circumstances, some aspects of human drawing can emerge from simulated embodiment, without the need for external supervision, imitation or social cues. Finally, we note the framework's potential for use in creative applications.

研究动机与目标

• 探究强化学习智能体是否能够通过在模拟环境中无监督的、基于画笔的绘画，学习生成逼真且抽象的图像。
• 探究视觉抽象（类似于人类涂鸦或素描）是否能从具身智能体中涌现，而无需显式监督或模仿。
• 通过扩展和调优架构，在原始SPIRAL框架基础上实现改进，以提升图像保真度和真实感。
• 评估环境结构（如画笔物理特性、有限的episode长度）在促进生成智能体的抽象性与真实感方面的作用。
• 评估该框架在创意应用中的潜力，例如新颖美学风格生成与重构任务。

提出的方法

• 该框架使用策略网络（智能体），根据当前画布状态在每一步选择画笔笔触参数（颜色、大小、压力）。
• 可微分渲染器模拟画布在每条笔触命令下的更新，确保绘画过程的物理真实性。
• 判别器网络通过对抗方式训练，以区分真实图像与生成图像，为策略训练提供奖励信号。
• 策略网络与判别器通过强化学习联合训练，智能体以判别器所判断的逼真度为目标进行优化。
• 架构改进包括更优的归一化、残差连接以及训练正则化，以提升训练稳定性和性能。
• 训练过程在有限时域内进行，限制每幅图像的笔触数量，从而促进抽象性与效率。

实验结果

研究问题

• RQ1 无监督强化学习智能体是否能够在无须访问人类绘画的情况下，通过模拟绘画生成逼真且抽象的图像？
• RQ2 在无显式监督的情况下，视觉抽象（如仅用几笔便描绘出人脸）在具身智能体中能涌现到何种程度？
• RQ3 环境结构（如画笔物理特性、有限的episode长度）如何影响抽象性与真实感的涌现？
• RQ4 判别器是否能够优先关注语义相似性而非像素级相似性，表明高层视觉理解的发展？
• RQ5 与先前工作相比，SPIRAL框架的扩展与架构优化是否显著提升了图像质量和多样性？

主要发现

• 使用SPIRAL++训练的生成智能体能够产生高度视觉抽象的图像，例如仅用三到四笔便绘制出可识别的人脸——每笔代表一只眼睛、鼻子或嘴巴。
• 尽管从未见过人类绘画，智能体仍能生成多样化的艺术风格，包括出人意料且具有美学新颖性的构图。
• 通过定性分析与消融研究验证，该框架在图像真实感与保真度方面相比原始SPIRAL实现了显著提升。
• 判别器学会基于语义结构而非像素级相似性来评估真实感，表明高层视觉推理能力的涌现。
• 在足够长的训练时间与episode长度下，智能体能够生成复杂且逼真的图像，接近照片级真实感。
• 结果表明，视觉抽象与真实感可在无监督、无模仿、无社会线索的条件下，仅依赖环境约束与对抗训练从具身模拟中涌现。