[论文解读] Prompting Diverse Ideas: Increasing AI Idea Variance

Lennart Meincke, Ethan Mollick+1 more|arXiv (Cornell University)|Jan 27, 2024

Ethics and Social Impacts of AI被引用 4

一句话总结

本文研究了提示工程技术在提升人工智能生成创意想法多样性方面的应用，使用 GPT-4 为大学生群体生成价格低于 50 美元的产品创意。研究发现，思维链（Chain-of-Thought）提示显著提升了创意的分散度与独特性，其多样性接近人类群体在创意生成中的表现，优于其他提示方法。

ABSTRACT

Unlike routine tasks where consistency is prized, in creativity and innovation the goal is to create a diverse set of ideas. This paper delves into the burgeoning interest in employing Artificial Intelligence (AI) to enhance the productivity and quality of the idea generation process. While previous studies have found that the average quality of AI ideas is quite high, prior research also has pointed to the inability of AI-based brainstorming to create sufficient dispersion of ideas, which limits novelty and the quality of the overall best idea. Our research investigates methods to increase the dispersion in AI-generated ideas. Using GPT-4, we explore the effect of different prompting methods on Cosine Similarity, the number of unique ideas, and the speed with which the idea space gets exhausted. We do this in the domain of developing a new product development for college students, priced under $50. In this context, we find that (1) pools of ideas generated by GPT-4 with various plausible prompts are less diverse than ideas generated by groups of human subjects (2) the diversity of AI generated ideas can be substantially improved using prompt engineering (3) Chain-of-Thought (CoT) prompting leads to the highest diversity of ideas of all prompts we evaluated and was able to come close to what is achieved by groups of human subjects. It also was capable of generating the highest number of unique ideas of any prompt we studied.

研究动机与目标

• 为解决尽管平均质量较高，但人工智能生成创意的多样性仍然有限的问题，尤其是在创意创新任务中。
• 探究提示工程是否能够提升大型语言模型生成创意的分散度与独特性。
• 比较不同提示策略（尤其是思维链）在增强创意差异性方面的有效性。
• 评估在不同提示方法下，创意空间被耗尽的速度。
• 将人工智能生成的创意多样性与人类群体在创意生成中的表现进行基准对比。

提出的方法

• 使用 GPT-4 通过多种提示技术生成针对大学生群体、价格低于 50 美元的产品创意。
• 应用思维链（CoT）提示，通过鼓励分步推理来探索多种创意路径。
• 利用生成创意嵌入的余弦相似度衡量创意多样性，以量化相似性与分散度。
• 追踪每条提示生成的独特创意数量，以评估创意空间的覆盖范围与耗尽速率。
• 采用受控实验设计，通过多种提示变体比较不同方法的多样性结果。
• 将人工智能生成的创意池与同一领域内人类受试者群体的创意进行基准对比。

实验结果

研究问题

• RQ1 提示工程是否能显著提升大型语言模型生成创意的多样性？
• RQ2 思维链提示在提升创意分散度方面与其它提示方法相比表现如何？
• RQ3 人工智能生成的创意池在多大程度上能够匹配人类群体所达到的多样性？
• RQ4 在不同提示策略下，创意空间被耗尽的速度如何？
• RQ5 提示方法与生成的独特创意数量之间存在何种关系？

主要发现

• 使用标准提示生成的人工智能创意池，其多样性显著低于人类受试者群体，余弦相似度测量结果表明如此。
• 思维链提示在所有测试的提示方法中产生了最高的创意多样性。
• CoT 提示在所有研究条件下生成了最多的独特创意。
• CoT 提示使人工智能在创意多样性方面接近人类群体在相同任务中所达到的水平。
• 其他提示方法，包括 few-shot 提示和直接提示，导致创意分散度较低，且创意空间耗尽速度更快。
• 本研究证实，提示工程可显著提升人工智能生成创意的方差，尤其是采用基于推理的提示方法时。