[论文解读] PromptAid: Prompt Exploration, Perturbation, Testing and Iteration using Visual Analytics for Large Language Models

Aditi Mishra, Utkarsh Soni+4 more|arXiv (Cornell University)|Apr 4, 2023

Explainable Artificial Intelligence (XAI)被引用 21

一句话总结

PromptAid 是一个可视化分析系统，利用关键字扰动、改写和上下文示例，帮助非专家为大型语言模型（LLMs）设计、扰动、测试和迭代提示，进行全局和实例级分析。

ABSTRACT

Large Language Models (LLMs) have gained widespread popularity due to their ability to perform ad-hoc Natural Language Processing (NLP) tasks with a simple natural language prompt. Part of the appeal for LLMs is their approachability to the general public, including individuals with no prior technical experience in NLP techniques. However, natural language prompts can vary significantly in terms of their linguistic structure, context, and other semantics. Modifying one or more of these aspects can result in significant differences in task performance. Non-expert users may find it challenging to identify the changes needed to improve a prompt, especially when they lack domain-specific knowledge and lack appropriate feedback. To address this challenge, we present PromptAid, a visual analytics system designed to interactively create, refine, and test prompts through exploration, perturbation, testing, and iteration. PromptAid uses multiple, coordinated visualizations which allow users to improve prompts by using the three strategies: keyword perturbations, paraphrasing perturbations, and obtaining the best set of in-context few-shot examples. PromptAid was designed through an iterative prototyping process involving NLP experts and was evaluated through quantitative and qualitative assessments for LLMs. Our findings indicate that PromptAid helps users to iterate over prompt template alterations with less cognitive overhead, generate diverse prompts with help of recommendations, and analyze the performance of the generated prompts while surpassing existing state-of-the-art prompting interfaces in performance.

研究动机与目标

• 解决非专家在为 LLMs 构建最佳提示方面面临的挑战。
• 提供一个可视化分析界面，用于探索提示空间并在全局与实例层面分析性能。
• 提供半自动化的语言与上下文扰动建议（关键词、改写、k-shot 示例）。
• 支持对分布内和分布外数据进行迭代提示改进与测试。

提出的方法

• 开发 PromptAid，包含六个相互关联的面板，支持模型/领域选择、提示探索、实例级分析、版本比较、扰动推荐和测试。
• 将提示嵌入潜在嵌入空间，并按相似性进行聚类以便探索。
• 使用 KD-Trees 为关键词计算扰动推荐，使用 Parrot 进行改写，使用 KNN 为 k-shot 示例计算扰动推荐。
• 在测试集上使用启发式准确度来驱动对下一步的扰动灵敏度。
• 在分布内和分布外数据点上进行测试以评估提示。
• 通过案例研究和针对非专家的被试内用户研究来验证系统。

实验结果

研究问题

• RQ1 非专家如何利用可视化分析有效地探索和优化用于 LLMs 的提示模板？
• RQ2 哪些扰动策略（语言性和上下文性）在零样本和少样本设置下最能提升提示性能？
• RQ3 互动式可视化是否能在引导提示迭代和测试时降低认知负荷？
• RQ4 与基线提示界面相比，半自动化的推荐是否能提升提示性能？

主要发现

• PromptAid 使迭代的提示模板修改在认知负荷更低的情况下成为可能。
• 系统在推荐帮助下生成多样化的提示，并有效分析它们的性能。
• PromptAid 在实现测试任务的更高性能方面优于现有的提示界面。
• 使用 PromptAid 的用户报告交互式可视化和扰动推荐具有很高的实用性。