[论文解读] Safe Reinforcement Learning with Natural Language Constraints

Tsung-Yen Yang, Michael Y. Hu+3 more|arXiv (Cornell University)|Oct 11, 2020

Reinforcement Learning in Robotics参考文献 63被引用 7

一句话总结

本文提出 POLCO，一种模块化强化学习智能体，通过解析自然语言约束来提升训练过程中的安全性。通过将约束理解与策略学习分离，POLCO 在新构建的 HazardWorld 基准测试中，相较于基线方法，实现了最高 11 倍的奖励提升和 1.8 倍更少的约束违反，证明了其在未见约束下的新任务中具备有效的迁移能力。

ABSTRACT

While safe reinforcement learning (RL) holds great promise for many practical applications like robotics or autonomous cars, current approaches require specifying constraints in mathematical form. Such specifications demand domain expertise, limiting the adoption of safe RL. In this paper, we propose learning to interpret natural language constraints for safe RL. To this end, we first introduce HazardWorld, a new multi-task benchmark that requires an agent to optimize reward while not violating constraints specified in free-form text. We then develop an agent with a modular architecture that can interpret and adhere to such textual constraints while learning new tasks. Our model consists of (1) a constraint interpreter that encodes textual constraints into spatial and temporal representations of forbidden states, and (2) a policy network that uses these representations to produce a policy achieving minimal constraint violations during training. Across different domains in HazardWorld, we show that our method achieves higher rewards (up to11x) and fewer constraint violations (by 1.8x) compared to existing approaches. However, in terms of absolute performance, HazardWorld still poses significant challenges for agents to learn efficiently, motivating the need for future work.

研究动机与目标

• 为解决以数学形式指定安全约束的挑战，该形式需要领域专业知识，限制了安全强化学习在现实世界中的部署。
• 使智能体能够学习并迁移以自由形式自然语言表达的安全约束，而非形式逻辑或方程。
• 开发一种模块化架构，将约束理解与奖励最大化解耦，实现跨不同任务的复用。
• 构建一个基准测试 H azardWorld，用于评估在网格世界和机器人环境中使用自然语言约束的安全强化学习。
• 证明智能体能够将约束理解泛化到具有不同奖励函数的新任务中，同时最小化约束违反。

提出的方法

• 引入 HazardWorld，一个包含网格世界和机器人环境的多任务基准测试，其中包含用于安全探索的自由形式文本约束。
• 设计一种模块化智能体架构：约束解释器将自然语言约束编码为禁止状态的空间与时间表征。
• 使用策略网络，将状态观测与约束表征结合，生成最小化约束违反的动作。
• 采用掩码表示学习机制（M_B）和约束嵌入（h_C），以提升约束理解与泛化能力。
• 通过人类标注的约束到状态映射的监督信号，在安全训练期间端到端训练约束解释器。
• 通过复用预训练的约束解释器并微调策略网络，实现零样本迁移至新任务。

实验结果

研究问题

• RQ1 强化学习智能体是否能在不显式指定数学形式的情况下，学习解释并遵守自由形式的自然语言约束？
• RQ2 模块化智能体架构在具有不同奖励函数的新任务中，其约束理解能力的迁移效果如何，同时保持低约束违反率？
• RQ3 将约束表征与策略学习分离，在安全强化学习中在泛化与性能方面有多大的提升作用？
• RQ4 与现有安全强化学习基线相比，该模型在处理多个复杂约束（如关系型与顺序型约束）时表现如何？
• RQ5 所提出架构中的哪些组件（如 M_B、h_C）对约束满足与性能最为关键？

主要发现

• POLCO 在 HazardWorld-grid 上实现的累积奖励最高达到基线方法的 11 倍，证明其在安全约束下具备更优的学习效率。
• POLCO 相较于基线方法，将约束违反减少了最多 1.8 倍，表明其对自然语言安全规则的遵守能力更强。
• 消融实验表明，若移除约束嵌入（h_C）或掩码（M_B），约束违反将增加 66.67%，证明二者对准确理解约束至关重要。
• 该模型在多种约束类型（预算型、关系型、顺序型）中均保持高性能，展现出对复杂文本约束的稳健泛化能力。
• 在奖励与约束满足两方面，POLCO 均优于所有基线方法，尤其在顺序型与关系型约束下，其他方法难以平衡安全与性能。
• 即使在评估阶段使用与训练阶段相同的奖励函数，POLCO 仍能更好地泛化到新约束，证实其模块化设计的有效性。