[论文解读] PromptChainer: Chaining Large Language Model Prompts through Visual Programming

Tongshuang Wu, Ellen Jiang+5 more|arXiv (Cornell University)|Mar 12, 2022

Software Engineering Research被引用 8

一句话总结

PromptChainer 是一种可视化编程界面，允许非专家通过交互式、基于节点的工作流来编写和调试大型语言模型（LLM）提示的链式结构。它支持步骤间的数据显示转换、函数签名定义以及细粒度调试，显著提升了复杂 LLM 应用原型开发中的透明度和控制力。

ABSTRACT

While LLMs can effectively help prototype single ML functionalities, many real-world applications involve complex tasks that cannot be easily handled via a single run of an LLM. Recent work has found that chaining multiple LLM runs together (with the output of one step being the input to the next) can help users accomplish these more complex tasks, and in a way that is perceived to be more transparent and controllable. However, it remains unknown what users need when authoring their own LLM chains -- a key step for lowering the barriers for non-AI-experts to prototype AI-infused applications. In this work, we explore the LLM chain authoring process. We conclude from pilot studies find that chaining requires careful scaffolding for transforming intermediate node outputs, as well as debugging the chain at multiple granularities; to help with these needs, we designed PromptChainer, an interactive interface for visually programming chains. Through case studies with four people, we show that PromptChainer supports building prototypes for a range of applications, and conclude with open questions on scaling chains to complex tasks, and supporting low-fi chain prototyping.

研究动机与目标

• 识别并解决非 AI 专家在编写 LLM 链时面临的关键挑战。
• 支持用户在链式步骤之间转换中间 LLM 输出。
• 实现多粒度的调试，特别是针对 LLM 不稳定导致的级联错误。
• 探索可视化编程如何辅助用户构建对 LLM 能力和任务分解的思维模型。
• 研究在完整提示工程之前，对 LLM 链进行低保真度原型设计所需的支持。

提出的方法

• 设计一个包含链视图（用于构建节点-边关系）和节点视图（用于编辑单个 LLM 提示）的可视化界面。
• 为每个 LLM 节点实现函数签名，以标准化输入/输出格式并提升可组合性。
• 支持端到端执行和选择性节点执行，以实现增量测试和调试。
• 集成 JavaScript 帮助节点，用于处理 LLM 原生不支持的数据转换和后处理。
• 提供执行可视化和追踪功能，以跟踪输入在链中的传播过程。
• 支持用户使用占位符节点进行链式原型设计，并在开发过程中迭代优化提示。

Figure 1 . The PromptChainer interface. (A) The Chain View visualizes the chain structure with node-edge diagrams (enlarged in Figure 3 ), and allows users to edit the chain by adding, removing, or reconnecting nodes. (B) The Node View supports implementing, improving, and testing each individual no

实验结果

研究问题

• RQ1 非专家用户在为复杂任务编写 LLM 提示链时面临哪些挑战？
• RQ2 可视化编程界面如何支持在多个 LLM 步骤之间进行数据转换和调试？
• RQ3 交互式反馈在链式开发过程中对优化 LLM 提示起到了什么作用？
• RQ4 用户在使用 LLM 进行原型设计时，如何进行任务分解和链式结构设计？
• RQ5 为降低前期投入，需要哪些支持来实现 LLM 链的低保真度原型设计？

主要发现

• 用户构建链不仅是为了克服 LLM 的局限性，也是为了让他们的原型更具可扩展性和可维护性。
• 参与者经常在与界面交互过程中优化其原有的提示，表明观察节点间交互改变了他们对提示行为的理解。
• 使用 JavaScript 帮助节点实现了有效的后处理，例如在故事末尾添加“故事结束”，这仅靠提示无法可靠实现。
• 在具有并行、相互依赖子任务的链中，出现了级联错误和连贯性问题，例如故事生成中的叙事不一致。
• 在复杂链中，输入到输出的映射关系变得模糊，特别是当节点产生多个输出（如实体提取）时，凸显了增强追踪能力的必要性。
• 用户表现出不同的策略——一些人逐步构建，另一些人先绘制完整结构——表明其在链式编写方面存在多样的思维模型。

Figure 2 . An example chain for prototyping music chatbot, modified from a pilot user’s chain (its overview is in Figure 1 ). We provide primary input-output examples, and annotate the node functionalities are annotated inline.