[论文解读] On the Creativity of Large Language Models

Giorgio Franceschelli, Mirco Musolesi|arXiv (Cornell University)|Mar 27, 2023

Machine Learning in Materials Science被引用 9

一句话总结

本文分析大型语言模型（LLMs）是否通过应用博登的价值、新颖性和惊喜标准来具备创造力，并讨论超越产物本身的真正创造力所需的条件。

ABSTRACT

Large Language Models (LLMs) are revolutionizing several areas of Artificial Intelligence. One of the most remarkable applications is creative writing, e.g., poetry or storytelling: the generated outputs are often of astonishing quality. However, a natural question arises: can LLMs be really considered creative? In this article, we first analyze the development of LLMs under the lens of creativity theories, investigating the key open questions and challenges. In particular, we focus our discussion on the dimensions of value, novelty, and surprise as proposed by Margaret Boden in her work. Then, we consider different classic perspectives, namely product, process, press, and person. We discuss a set of ``easy'' and ``hard'' problems in machine creativity, presenting them in relation to LLMs. Finally, we examine the societal impact of these technologies with a particular focus on the creative industries, analyzing the opportunities offered, the challenges arising from them, and the potential associated risks, from both legal and ethical points of view.

研究动机与目标

• 评估LLMs是否符合博登的创造力标准（价值、新颖性、惊喜）。
• 在LLM语境中审视经典创造力观点（产物、过程、媒介/环境、主体）。
• 识别与LLMs相关的机器创造力中的简单与困难问题。
• 讨论对创意行业在法律、伦理及社会层面的实际影响。

提出的方法

• 回顾博登的三大创造力标准及相关理论（阿马比尔、齐克森特-米哈伊、戈特）。
• 在自回归特性下，将LLM能力映射到价值、新颖性和惊喜。
• 讨论产物、过程、媒介/环境、主体视角对LLM创造力的意义。
• 区分组合性、探索性和变革性创造力在LLM输出中的表现。

实验结果

研究问题

• RQ1 LLMs是否能产出符合博登标准的新的、令人惊奇且有价值的产物？
• RQ2 在实现真正创造力（特别是变革性创造力）方面，LLMs有哪些局限？
• RQ3 产物、过程、媒介/环境、主体视角在LLM创造力中的应用如何？
• RQ4 LLM创造力对创意产业在社会、法律与伦理方面的影响是什么？

主要发现

• LLMs能够产出有价值的输出，但在当前自回归训练下在新颖性和惊奇性方面存在困难。
• 在当前的训练范式下，变革性创造力似乎不太可能；通过提示或条件设定，组合性创造力可能实现。
• LLMs缺乏实现真正创造过程所需的内在动机、自我导向过程和自我评估。
• 创造力的社会与环境（媒介/环境）维度对不可变的LLMs来说难以有意义地参与。
• 提出通过持续学习与适应来推动更接近不断的创造循环的未来方向。
• 包括版权与署名在内的法律与伦理考量，是将LLMs应用于创作工作的核心议题。