[论文解读] Wordflow: Social Prompt Engineering for Large Language Models

Zijie J. Wang, Aishwarya Chakravarthy+2 more|arXiv (Cornell University)|Jan 25, 2024

Topic Modeling被引用 4

一句话总结

本文介绍了 Wordflow，一个社交提示工程平台，允许非专家用户通过开源、基于浏览器的文本编辑器协作创建、运行、共享和发现大型语言模型（LLM）提示。通过集成基于 WebGPU 的本地 LLM 推理以及提示共享和标签等社交计算功能，Wordflow 降低了有效提示工程的门槛，并支持普通用户将 LLM 应用于实际任务，如校对和创意写作。

ABSTRACT

Large language models (LLMs) require well-crafted prompts for effective use. Prompt engineering, the process of designing prompts, is challenging, particularly for non-experts who are less familiar with AI technologies. While researchers have proposed techniques and tools to assist LLM users in prompt design, these works primarily target AI application developers rather than non-experts. To address this research gap, we propose social prompt engineering, a novel paradigm that leverages social computing techniques to facilitate collaborative prompt design. To investigate social prompt engineering, we introduce Wordflow, an open-source and social text editor that enables everyday users to easily create, run, share, and discover LLM prompts. Additionally, by leveraging modern web technologies, Wordflow allows users to run LLMs locally and privately in their browsers. Two usage scenarios highlight how social prompt engineering and our tool can enhance laypeople's interaction with LLMs. Wordflow is publicly accessible at https://poloclub.github.io/wordflow.

研究动机与目标

• 解决非专家用户在缺乏训练和指导的情况下使用大型语言模型（LLMs）时面临的提示工程挑战。
• 通过聚焦于普通用户而非 AI 开发者（现有提示工程工具的主要目标群体），弥合研究空白。
• 提出并评估一种新型范式——社交提示工程，利用协作式、社区驱动的技术改进提示设计与使用。
• 开发 Wordflow，一个开源的基于网络的文本编辑器，支持本地私有 LLM 推理，并支持围绕提示创建与共享的社交互动。
• 研究社交计算功能如何提升用户参与度、提示质量以及 LLM 交互的可及性。

提出的方法

• Wordflow 是一个基于浏览器的开源文本编辑器，允许用户使用 WebGPU 在其设备上本地执行 LLM 提示，直接在本地完成提示的编写、编辑和执行。
• 平台支持对文本的直接操作：用户选中文本并一键应用提示以转换内容（例如用于校对或翻译）。
• 用户可自定义提示和 LLM 设置，将它们保存至提示管理器，并通过标签和元数据与社区共享。
• 该工具支持用户发现并复用社区共享的提示，支持按热度、最新度和标签进行排序与过滤。
• 本地 LLM 执行确保了数据隐私，消除了对外部 API 或后端服务器的依赖。
• 社交功能包括提示共享、社区内容筛选以及用户对有害内容的报告，未来计划引入内容审核机制和声誉系统。

实验结果

研究问题

• RQ1 社交提示工程如何支持非专家用户设计出有效的 LLM 提示？
• RQ2 普通用户在与 LLM 交互时，常见的使用场景和提示模式是什么？
• RQ3 用户如何修改并重新分享社区提供的提示？这揭示了提示协作学习的哪些特征？
• RQ4 标签、热度排名和声誉系统等社交功能在提升用户参与度和提示发现效率方面发挥什么作用？
• RQ5 如何设计社交系统以促进负责任的提示工程，并减轻虚假信息或有害输出等风险？

主要发现

• Wordflow 允许非专家用户通过 WebGPU 在浏览器中本地创建、运行和共享 LLM 提示，无需依赖外部 API，显著提升了数据隐私性。
• 平台的社交功能（如提示共享、标签化和社区筛选）促进了协作式学习，并帮助用户发现高效的提示技术。
• 用户可按热度、最新度和标签对提示进行筛选与排序，从而高效发现高质量且上下文相关的提示。
• 该工具支持对文本的一键式 LLM 执行，显著降低了非技术用户使用 LLM 的门槛。
• 计划开展初步的使用日志研究，以分析提示的演化过程，包括用户如何调整和重新分享社区提示。
• 平台包含有害提示报告机制，为社交提示系统中的负责任 AI 实践奠定了基础。