[论文解读] Project CLAI: Instrumenting the Command Line as a New Environment for AI Agents

Mayank Agarwal, Jorge J. Barroso+6 more|arXiv (Cornell University)|Jan 31, 2020

Topic Modeling参考文献 25被引用 6

一句话总结

Project CLAI 引入了一种配备人工智能功能的命令行界面（CLI），通过感知-执行（sense-act）API 与修改后的 Bash shell 交互，使研究人员能够通过该接口部署 AI 代理。该平台支持自然语言理解、主动协助和自动化功能，用户研究显示其具有强烈的采用意愿和对低延迟 AI 功能的容忍度，验证了其作为可扩展、用户友好的 AI 代理在系统管理和云工作流中应用的潜力。

ABSTRACT

This whitepaper reports on Project CLAI (Command Line AI), which aims to bring the power of AI to the command line interface (CLI). The CLAI platform sets up the CLI as a new environment for AI researchers to conquer by surfacing the command line as a generic environment that researchers can interface to using a simple sense-act API, much like the traditional AI agent architecture. In this paper, we discuss the design and implementation of the platform in detail, through illustrative use cases of new end user interaction patterns enabled by this design, and through quantitative evaluation of the system footprint of a CLAI-enabled terminal. We also report on some early user feedback on CLAI's features from an internal survey.

研究动机与目标

• 解决云原生和复杂软件生态系统中日益增长的对智能、本地化命令行辅助的需求。
• 通过支持基于学习的、可泛化的 AI 代理，克服基于规则的 CLI 助手的局限性，使其能够适应用户行为和系统上下文。
• 创建一个标准化、可扩展的 CLI 环境，支持 AI 研究与部署，同时不改变用户熟悉的命令行界面。
• 通过真实世界用户研究，评估用户对 AI 增强的命令行交互的接受度、延迟容忍度和功能实用性。
• 通过提供一个生产就绪、可扩展的平台，促进 AI、HCI 和系统软件社区之间的跨学科合作，实现 CLI 上的 AI 代理。

提出的方法

• 通过感知-执行 API 扩展 Bash shell，使 AI 代理能够观察命令行状态并执行操作，模拟传统 AI 代理架构。
• 设计模块化插件系统，使开发人员能够通过领域特定的 AI 技能（如自然语言命令解析和自动故障排除）扩展 CLAI。
• 实现低延迟推理管道，确保 AI 响应在 3 秒内完成，符合用户的容忍阈值。
• 利用现有数据集（如 Linux Plan Corpus 和 AskUbuntu 论坛数据）对 NLP 和强化学习模型进行预训练和微调，以实现 CLI 任务自动化。
• 集成自动规划和信息检索技术，支持多步命令序列和上下文感知协助。
• 通过内部用户调查和受控实验，评估功能实用性、采用容忍度和用户界面偏好。

实验结果

研究问题

• RQ1 通过命令行的感知-执行 API 接口，能否实现系统管理任务中可扩展、可泛化的 AI 代理部署？
• RQ2 用户如何感知和采用 AI 驱动的 CLI 功能，如自然语言输入、主动支持和现场故障排除？
• RQ3 在真实世界开发和运维工作流中，AI 辅助命令行交互的可接受延迟阈值是多少？
• RQ4 用户在多大程度上偏好保留原生 CLI 外观和感觉的 AI 功能？这种偏好如何影响采纳率？
• RQ5 不同用户角色（如开发者与研究人员）在构建或使用 AI 驱动的 CLI 插件方面是否存在意愿差异？

主要发现

• 80% 的用户表示愿意采纳 CLAI 的建议，表明 AI 辅助命令行工作流具有强大的用户采纳潜力。
• 超过 80% 的受访者表示愿意使用增强 CLAI 的 CLI，显示出用户对集成 AI 的终端环境的强烈兴趣。
• 用户明显偏好最小化 UI 变更，多数用户不希望接受对传统 CLI 界面的明显修改。
• 系统延迟在 3 秒内可被接受，且相当一部分用户愿意为高级 AI 功能容忍轻微延迟。
• 最受青睐的功能是主动支持和自然语言输入，用户反馈积极；而复杂工作流的自动化因感知到风险和复杂性，反馈为中性。
• 开发者与研究人员角色之间存在显著差异：研究人员更有可能为 CLAI 构建新的基于 AI 的插件，表明存在强大的研究采纳路径。