[论文解读] Toward Modeling Creative Processes for Algorithmic Painting

Aaron Hertzmann|arXiv (Cornell University)|May 3, 2022

Aesthetic Perception and Analysis被引用 7

一句话总结

本文提出了一种计算框架，用于算法绘画，通过结合模糊的高层次目标与探索性、迭代性策略，模拟人类的创造性过程。该框架引入了不明确的损失函数和分层任务分解，以实现动态风格的涌现和以过程为导向的创造力，突破了固定风格、基于优化的渲染方式，更好地模拟艺术的演化过程与开放式的探索。

ABSTRACT

This paper proposes a framework for computational modeling of artistic painting algorithms, inspired by human creative practices. Based on examples from expert artists and from the author's own experience, the paper argues that creative processes often involve two important components: vague, high-level goals (e.g., "make a good painting"), and exploratory processes for discovering new ideas. This paper then sketches out possible computational mechanisms for imitating those elements of the painting process, including underspecified loss functions and iterative painting procedures with explicit task decompositions.

研究动机与目标

• 为解决当前算法绘画系统中缺乏以过程为导向的开放式创造力的问题，这些系统受限于固定风格和预设目标。
• 将艺术创造力建模为一个不断演化的过程，而非固定目标，通过诸如“画幅好画”之类的模糊高层次意图来引导。
• 将探索性行为（如策略选择与迭代优化）整合进计算绘画算法中，以模仿人类艺术家的实践方式。
• 开发一种框架，使艺术风格与结构通过感知损失函数与程序化探索之间的交互自然涌现，而非预先指定。
• 使系统能够通过用户反馈与分层任务分解，学习并演化自身的创造性策略。

提出的方法

• 使用不明确的损失函数建模创造性过程，不固定风格或目标，使它们在绘画过程中自然涌现。
• 通过分层任务分解将绘画过程结构化为策略（如草图、上色）与子任务（如形状细化、阴影处理）。
• 采用基于循环的算法，交替执行策略选择、任务执行与评估，早期阶段强调随机性以促进新颖性。
• 利用感知损失函数引导探索，其作用近似人类对艺术质量的判断，并随时间推移逐步增强影响力。
• 在早期阶段整合程序化规则进行决策，并探索基于用户反馈的学习型决策机制，以随时间适应策略。
• 动态结合程序化方法与基于优化的方法：早期阶段类似程序化绘画，后期阶段则强调通过优化进行精细化处理。

实验结果

研究问题

• RQ1 算法绘画系统如何通过过程而非预设，实现艺术风格与目标的自然涌现？
• RQ2 哪些计算机制能够模拟人类艺术创作中探索性、迭代性的本质于绘画算法中？
• RQ3 不明确的损失函数如何在不固定艺术风格或目标的前提下，引导创造性探索？
• RQ4 分层任务分解在多大程度上能实现AI系统中类人、以策略为导向的绘画过程？
• RQ5 基于对生成输出的用户反馈进行学习，是否能够促使算法绘画中演化出新颖且个性化的艺术风格？

主要发现

• 本文证明，艺术风格与目标可从创作过程中自然涌现，而非预先指定，从而挑战了‘风格必须事先固定’的假设。
• 探索性过程，包括随机策略选择与迭代优化，对于生成出人意料且多样的艺术成果至关重要。
• 不明确的损失函数支持灵活、以感知为导向的探索，使系统能够在创作过程中动态调整目标。
• 分层任务分解的整合实现了结构化但开放的绘画过程，与人类艺术家的工作流程高度相似。
• 该框架支持从程序化探索向基于优化的精细化处理的过渡，模拟了人类艺术家随时间推移逐步完善作品的过程。
• 基于用户反馈的学习型决策机制可能使系统演化出自身的创造性策略，从而实现长期的艺术风格演化。