[论文解读] Quality-Diversity through AI Feedback

Herbie Bradley, Andrew M. Dai+8 more|arXiv (Cornell University)|Oct 19, 2023

Topic Modeling被引用 7

一句话总结

该论文提出了通过人工智能反馈实现质量-多样性（QDAIF）的进化算法，利用大语言模型（LLMs）自主生成并评估多样化、高质量的创意文本（如故事、诗歌和观点文章），而无需人工设计的度量标准。通过利用LLMs提供关于质量与多样性的AI反馈，QDAIF在覆盖设计空间方面显著优于非QD基线方法，生成的高质量、多样化输出在人类评估中也展现出与人类判断高度一致的结果。

ABSTRACT

In many text-generation problems, users may prefer not only a single response, but a diverse range of high-quality outputs from which to choose. Quality-diversity (QD) search algorithms aim at such outcomes, by continually improving and diversifying a population of candidates. However, the applicability of QD to qualitative domains, like creative writing, has been limited by the difficulty of algorithmically specifying measures of quality and diversity. Interestingly, recent developments in language models (LMs) have enabled guiding search through AI feedback, wherein LMs are prompted in natural language to evaluate qualitative aspects of text. Leveraging this development, we introduce Quality-Diversity through AI Feedback (QDAIF), wherein an evolutionary algorithm applies LMs to both generate variation and evaluate the quality and diversity of candidate text. When assessed on creative writing domains, QDAIF covers more of a specified search space with high-quality samples than do non-QD controls. Further, human evaluation of QDAIF-generated creative texts validates reasonable agreement between AI and human evaluation. Our results thus highlight the potential of AI feedback to guide open-ended search for creative and original solutions, providing a recipe that seemingly generalizes to many domains and modalities. In this way, QDAIF is a step towards AI systems that can independently search, diversify, evaluate, and improve, which are among the core skills underlying human society's capacity for innovation.

研究动机与目标

• 解决在算法难以明确定义质量与多样性的定性领域中，生成多样化、高质量创意文本输出的挑战。
• 探索大语言模型（LLMs）是否可作为开放式文本生成中质量与多样性的自主评估者。
• 开发一种方法，实现在无需依赖人类标注度量标准的情况下，由AI驱动、自我导向地在创意领域中进行探索与创新。
• 验证AI生成的反馈是否与人类在评估创意文本质量与多样性时的判断保持一致。
• 证明QDAIF可在多种创意写作形式（包括故事、诗歌和观点写作）中实现泛化。

提出的方法

• QDAIF结合进化算法与LLMs，基于质量与多样性迭代生成并评估文本候选。
• 利用LLMs对生成文本的质量（如连贯性、吸引力）和多样性（如体裁、语调、人物类型）提供自然语言反馈。
• 该方法在质量-多样性档案库中维护一组文本候选，每项均通过LLM在多个维度上的评估进行打分。
• 通过提示工程和LLM生成引入变异，新候选通过基于LLM反馈的变异与选择机制进行演化。
• 该算法使用基于LLM标注的多样性评分引导的新颖性搜索机制，探索设计空间中未被充分覆盖的区域。
• 通过完全依赖LLMs的零样本或少样本提示进行评估，避免模型微调，从而实现广泛适用性。

实验结果

研究问题

• RQ1 LLMs是否能在不进行微调的情况下，有效评估创意写作中主观的质量与多样性特征？
• RQ2 与仅关注质量或非QD基线相比，QDAIF是否能生成更多样化且质量更高的创意文本集合？
• RQ3 AI生成的反馈在多大程度上与人类对创意文本质量与多样性的判断保持一致？
• RQ4 QDAIF是否能在无需显式人工设计度量标准的情况下，跨多种体裁与形式发现新颖且高质量的创意输出？
• RQ5 LLMs在多大程度上能自主引导开放式、定性领域中的进化搜索？

主要发现

• QDAIF在覆盖设计空间方面显著优于LMX-Near基线，在生成多样化体裁与人物弧线的故事方面表现尤为突出。
• 在故事领域，QDAIF生成了一则关于间谍与政客的幸福结局故事（适应度0.995，多样性0.986），而基线生成的故事质量较低，且缺少关键叙事元素。
• 人类评估显示，AI反馈与人类判断之间存在高度一致性，相关性表明AI反馈具有坚实基础且可信赖，能够有效引导搜索。
• 与仅关注质量的基线相比，QDAIF发现了更广泛多样的叙事风格与主题，如爱情、恐怖与政治阴谋，而基线则收敛于狭窄的输出集合。
• 该方法在诗歌中实现了极高的多样性评分（如0.996），在故事中实现了高适应度评分（如0.995），证明其在设计空间中实现了有效探索。
• 在零样本和种子初始化设置下，即使初始提示有限，QDAIF仍能保持高质量输出，表现出对初始化差异的强鲁棒性。