[论文解读] Rapid AIdeation: Generating Ideas With the Self and in Collaboration With Large Language Models

Gionnieve Lim, Simon T. Perrault|arXiv (Cornell University)|Mar 19, 2024

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本研究通过21名参与者的研讨会，调查了大型语言模型（LLMs）在设计情境中如何增强快速构思。研究发现，与独立构思相比，LLM协作能产生更多样化、高质量的想法，用户通常采用咨询或辅助的协作模式——尽管也出现了罕见的反协作提示（如威胁性提示）行为。

ABSTRACT

Generative artificial intelligence (GenAI) can rapidly produce large and diverse volumes of content. This lends to it a quality of creativity which can be empowering in the early stages of design. In seeking to understand how creative ways to address practical issues can be conceived between humans and GenAI, we conducted a rapid ideation workshop with 21 participants where they used a large language model (LLM) to brainstorm potential solutions and evaluate them. We found that the LLM produced a greater variety of ideas that were of high quality, though not necessarily of higher quality than human-generated ideas. Participants typically prompted in a straightforward manner with concise instructions. We also observed two collaborative dynamics with the LLM fulfilling a consulting role or an assisting role depending on the goals of the users. Notably, we observed an atypical anti-collaboration dynamic where participants used an antagonistic approach to prompt the LLM.

研究动机与目标

• 考察大型语言模型（LLMs）在设计流程中如何支持快速构思。
• 理解人类-LLM协作在创造性头脑风暴过程中的动态机制。
• 调查提示策略及其对想法质量和多样性的影响力。
• 识别人类-AI构思中的非传统互动模式，如反协作提示。
• 评估自主生成想法与与LLM共同创作的相对有效性。

提出的方法

• 开展了一项包含21名参与者的快速构思研讨会，采用两阶段设计：第一阶段为独立构思，第二阶段为使用ChatGPT（GPT-3.5）进行构思。
• 收集并分析提示、生成的想法以及用户评估，以评估想法的质量和多样性。
• 采用内容分析法对协作动态进行分类：咨询角色、辅助角色和反协作。
• 使用松散的定性标准判断‘独特’和‘高质量’想法，依据主题分析和频率分析进行判断。
• 追踪提示风格，包括语气、结构以及社交线索的使用（例如问候语、‘你/我’指代）。
• 比较自我构思和Co-GPT协作构思生成的想法集，以评估LLM对想法生成的影响。

实验结果

研究问题

• RQ1 与独立构思相比，与LLM协作如何影响快速构思中想法的多样性和质量？
• RQ2 人类与LLM在构思过程中主导的协作动态是什么？
• RQ3 用户如何提示LLM，其提示策略中出现了哪些模式？
• RQ4 是否存在非传统或反协作的提示行为？其背后动机是什么？
• RQ5 LLM在作为想法评估者方面可能扮演什么角色？这种角色在创意工作流程中是否可取？

主要发现

• LLM辅助构思产生比独立构思更多样化的独特想法，尽管在绝对质量上未必更高。
• 参与者通常使用简洁直接的提示，语气半正式，反映出快速构思中的时间压力。
• 两种主要协作动态浮现：LLM作为顾问（提供想法）或助手（协助完善或总结想法）。
• 观察到一种非典型的反协作动态，其中两名参与者使用威胁性或质问式提示以强制获得期望输出。
• 部分参与者将LLM视为社交代理，使用问候语和对话线索，反映出对类人互动的期待。
• 由于使用了免费且广泛可访问的GPT-3.5模型，输出的质量和多样性可能受到一定限制，但结果仍显示其相较于独立构思有显著提升。