[论文解读] Prompt Sapper: LLM-Empowered Software Engineering Infrastructure for AI-Native Services

Zhenchang Xing, Qing Huang+4 more|arXiv (Cornell University)|Jun 4, 2023

Scientific Computing and Data Management被引用 4

一句话总结

Prompt Sapper 引入了一种由大语言模型（LLM）赋能的软件工程基础设施，使非技术用户能够通过自然语言提示（prompt）来创建、编排和部署原生AI服务，利用AI链工程（AI chain engineering）来构建结构化的工作流。该系统通过集成虚拟AI助手（产品经理、架构师、提示工程师）以及专为AI设计的集成开发环境（IDE），降低了AI开发的门槛，实现了无需传统编码的端到端、人机协同的可定制、可复用AI服务开发。

ABSTRACT

Foundation models, such as GPT-4, DALL-E have brought unprecedented AI "operating system" effect and new forms of human-AI interaction, sparking a wave of innovation in AI-native services, where natural language prompts serve as executable "code" directly (prompt as executable code), eliminating the need for programming language as an intermediary and opening up the door to personal AI. Prompt Sapper has emerged in response, committed to support the development of AI-native services by AI chain engineering. It creates a large language model (LLM) empowered software engineering infrastructure for authoring AI chains through human-AI collaborative intelligence, unleashing the AI innovation potential of every individual, and forging a future where everyone can be a master of AI innovation. This article will introduce the R\&D motivation behind Prompt Sapper, along with its corresponding AI chain engineering methodology and technical practices.

研究动机与目标

• 弥合原生AI服务在软件工程基础设施方面的空白，即基础模型支持‘提示即代码’（prompt as code）但缺乏系统性开发支持。
• 通过引入一种结构化、以软件工程为导向的方法，克服基于聊天的交互方式和随意提示工程的局限性，实现AI服务的系统化创建。
• 通过直观的自然语言工作流，使非程序员能够设计、原型化并部署个性化的AI服务，从而实现AI创新的民主化。
• 建立一个完整的AI4SE4AI框架，整合AI与软件工程的最佳实践，以提升AI链开发的效率、可重用性和可维护性。
• 通过提供全栈式、交互式的开发环境，弥合AI能力与实际部署之间的差距，支持原生AI服务的设计、测试与共享。

提出的方法

• 将基础模型作为AI的‘操作系统’，利用‘提示即代码’直接执行用户意图，无需传统编程。
• 提出AI链工程作为一项新型软件范式，将多个基础模型的提示调用、外部API以及传统AI模型组合成结构化、可执行的工作流。
• 采用由大语言模型驱动的虚拟助手（产品经理、架构师、提示工程师），引导用户完成需求分析、任务分解和提示构建。
• 提供专为Sapper IDE设计的用户友好界面，支持人与AI的实时协作，实现直观的原型设计与迭代。
• 将软件工程原则（如模块化、版本控制和测试）应用于AI链，以提升其可维护性、可重用性和可靠性。
• 集成AI4SE4AI框架，系统化管理AI服务开发的全生命周期，从需求到部署，支持持续改进与服务组合。

实验结果

研究问题

• RQ1 我们如何构建一个可扩展、用户友好的基础设施，使非技术用户仅通过自然语言提示即可创建和部署原生AI服务？
• RQ2 大语言模型驱动的虚拟助手在引导非专家完成复杂的AI链设计与提示工程过程方面，能发挥何种作用？
• RQ3 软件工程的最佳实践如何适应原生AI服务开发的独特挑战，特别是在测试、复用和可维护性方面？
• RQ4 AI链工程在支持AI服务开发全生命周期方面，相较于现有低代码/无代码工具和传统IDE，有何优势？
• RQ5 当‘提示即代码’范式与结构化的AI链工程相结合时，是否既能实现AI开发的民主化，又能保证生产级别的可靠性？

主要发现

• Prompt Sapper 使非技术用户能够通过自然语言提示创建、自定义和编排原生AI服务，有效消除了对传统编程的需求。
• 大语言模型驱动的虚拟助手的集成显著降低了用户在需求分析和提示构建过程中的认知负担与技术门槛。
• Sapper IDE 支持端到端的AI链开发，聚焦可用性、协作性和可维护性，优于仅关注编码或可视化工作流设计的现有工具。
• 通过将软件工程原则应用于AI链，Prompt Sapper 提升了可重用性、可测试性和版本控制能力，成为实现可扩展AI服务开发的关键支撑。
• AI4SE4AI 框架表明，系统化的工程实践可成功适配原生AI开发，从而支持构建稳健、可投入生产的AI服务。
• 与 GitHub Copilot 或 Zapier 等工具相比，Prompt Sapper 支持更全面、以意图为导向的开发流程，覆盖从构想到部署的完整阶段，而不仅限于代码生成。