[论文解读] Pinning "Reflection" on the Agenda: Investigating Reflection in Human-LLM Co-Creation for Creative Coding

Anqi Wang, Zhizhuo Yin+6 more|arXiv (Cornell University)|Feb 15, 2024

Creativity in Education and Neuroscience被引用 4

一句话总结

本研究探讨了通过大型语言模型（LLMs）进行人机协作如何影响艺术家在创意编程过程中的反思，比较了完整程序提示与子任务提示两种方式。研究发现，反思类型与表现、满意度及主观体验密切相关，揭示了当反思得到有意支持时，LLM辅助协作可提升创造力，为未来人机协同艺术创作工具的设计提供了启示。

ABSTRACT

Large language models (LLMs) are increasingly integrated into creative coding, yet how users reflect, and how different co-creation conditions influence reflective behavior, remains underexplored. This study investigates situated, moment-to-moment reflection in creative coding under two prompting strategies: the entire task invocation (T1) and decomposed subtask invocation (T2), to examine their effects on reflective behavior. Our mixed-method results reveal three distinct reflection types and show that T2 encourages more frequent, strategic, and generative reflection, fostering diagnostic reasoning and goal redefinition. These findings offer insights into how LLM-based tools foster deeper creative engagement through structured, behaviorally grounded reflection support.

研究动机与目标

• 探究不同LLM协作方式对艺术家在创意编程过程中反思的影响。
• 检验反思类型与用户表现、满意度及主观体验之间的相关性。
• 从艺术家视角识别AI辅助创意编程工具的设计启示。
• 填补对反思作为人-LLM协作中核心创造机制的理解空白。

提出的方法

• 开展了一项包含22位不同编程背景艺术家的混合方法研究。
• 实施两种协作条件：完整程序提示（T1）与基于子任务的提示（T2），使用我们自建的LLM（Llama）。
• 收集了两种条件下任务表现与用户满意度的定量数据。
• 通过半结构化访谈分析反思、用户体验与创作过程的定性方面。
• 基于观察到的用户行为与对话中的语言模式对反思类型进行分类。
• 采用主题分析法识别反思、设计过程与多模态整合需求中的模式。

实验结果

研究问题

• RQ1 RQ1：在LLM辅助编程的不同协作方式下，艺术家的反思类型与模式是什么？
• RQ2 RQ2：何种协作与反思方式能使艺术家实现更高效的任务表现与更高用户满意度？
• RQ3 RQ3：艺术家在不同协作方式下对LLM辅助编程的主观体验如何？

主要发现

• 在完整程序与子任务协作之间，反思类型存在显著差异，其中子任务提示更易引发深思熟虑且迭代式的反思。
• 艺术家在子任务协作中报告了更高的满意度与更好的任务表现，尽管反思有时降低了效率。
• 发现反思行为与用户满意度之间存在强烈相关性，表明反思能提升协作质量的主观感知。
• 参与者表达了对多模态整合的需求，特别是视觉提示与语义上下文，以提升LLM对创作意图的理解。
• 研究揭示了表现效率与用户体验之间的错配：尽管进展较慢，但反思性参与显著提升了满意度。
• 衍生出设计启示，包括LLM需支持范围、规模与访问灵活性，并整合视觉与语义信息以实现更好的创作对齐。