[论文解读] Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents

Ziyi Yang, Shreyas Sundara Raman+2 more|arXiv (Cornell University)|Sep 18, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

本文提出了一种用于大语言模型驱动的机器人智能体的安全约束模块，可将自然语言安全指令转化为形式化的线性时序逻辑（LTL）规范，实现运行时验证、违规原因解释以及不安全动作的剔除。该系统在仿真和真实机器人环境中均确保了严格的安全约束合规性，展现出面向工业部署的可扩展性与可靠性。

ABSTRACT

Recent advancements in large language models (LLMs) have enabled a new research domain, LLM agents, for solving robotics and planning tasks by leveraging the world knowledge and general reasoning abilities of LLMs obtained during pretraining. However, while considerable effort has been made to teach the robot the "dos," the "don'ts" received relatively less attention. We argue that, for any practical usage, it is as crucial to teach the robot the "don'ts": conveying explicit instructions about prohibited actions, assessing the robot's comprehension of these restrictions, and, most importantly, ensuring compliance. Moreover, verifiable safe operation is essential for deployments that satisfy worldwide standards such as ISO 61508, which defines standards for safely deploying robots in industrial factory environments worldwide. Aiming at deploying the LLM agents in a collaborative environment, we propose a queryable safety constraint module based on linear temporal logic (LTL) that simultaneously enables natural language (NL) to temporal constraints encoding, safety violation reasoning and explaining, and unsafe action pruning. To demonstrate the effectiveness of our system, we conducted experiments in VirtualHome environment and on a real robot. The experimental results show that our system strictly adheres to the safety constraints and scales well with complex safety constraints, highlighting its potential for practical utility.

研究动机与目标

• 为解决大语言模型智能体在掌握任务能力的同时，难以有效学习‘禁止行为’（即‘不要做’）的关键问题。
• 实现在机器人领域中可验证、符合标准的安全运行，尤其适用于符合ISO 61508标准的工业部署场景。
• 集成一个可查询的安全模块，支持自然语言输入、形式化约束检查及主动重规划功能。
• 确保在复杂、用户自定义约束条件下，安全强制机制具备鲁棒性与可扩展性。

提出的方法

• 采用基于提示的策略，将自然语言安全指令转化为形式化的线性时序逻辑（LTL）公式。
• 通过运行时监控机制，实时验证智能体动作是否满足LTL约束条件。
• 当检测到违规时，利用大语言模型进行重新提示，生成替代计划，确保任务完成的同时不违反安全规则。
• 追踪各状态中原子命题的真值，将每个动作标记为“安全”或“违规”，并基于条件的逻辑合取进行判断。
• 通过将LTL公式组件映射回自然语言，生成人类可读的违规原因解释。
• 将安全模块作为插件集成至现有大语言模型智能体框架中，保持与多种自然语言处理骨干网络的兼容性。

实验结果

研究问题

• RQ1 能否可靠地将自然语言安全约束转化为既具人类可读性又可机器验证的形式化LTL规范？
• RQ2 基于大语言模型的智能体在决策过程中，能否有效检测并解释时间性安全约束的违规行为？
• RQ3 通过重新提示机制，系统在多大程度上能够剔除不安全动作并生成合规的替代计划？
• RQ4 该安全模块在真实机器人任务中，面对日益复杂的安全约束时，其可扩展性表现如何？

主要发现

• 该系统在VirtualHome仿真环境和真实机器人部署中均成功强制执行了所有指定的安全约束，测试期间未观察到任何违规行为。
• 大语言模型生成的安全违规解释准确反映了底层LTL公式的组成部分，并与人类推理逻辑保持一致。
• 重新提示机制使智能体能够通过生成新的合规计划，从不安全动作建议中恢复，且未导致任务失败。
• 该安全模块在复杂约束条件下表现出良好的可扩展性，运行时监控保持低延迟与高精度。
• 将安全芯片集成至现有大语言模型智能体中，未对任务性能造成负面影响，同时保持了智能体原有的规划与推理能力。
• 该系统展现出与多种大语言模型框架的兼容性，支持即插即用式部署于各类机器人智能体架构中。