[论文解读] Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning

Borja G. León, Murray Shanahan+1 more|arXiv (Cornell University)|Jun 12, 2020

Natural Language Processing Techniques被引用 8

一句话总结

本文提出了一种新颖的框架，将任务时序逻辑（TTL）与深度强化学习（DRL）相结合，以实现在复杂决策任务中的系统性泛化。通过将任务规范编码为TTL公式，并利用其塑造内在奖励，该方法在未见过的任务变体上实现了显著的零样本泛化性能提升，在程序化和导航基准测试中优于标准DRL基线模型。

ABSTRACT

This work introduces a neuro-symbolic agent that combines deep reinforcement learning (DRL) with temporal logic (TL) to achieve systematic zero-shot, i.e., never-seen-before, generalisation of formally specified instructions. In particular, we present a neuro-symbolic framework where a symbolic module transforms TL specifications into a form that helps the training of a DRL agent targeting generalisation, while a neural module learns systematically to solve the given tasks. We study the emergence of systematic learning in different settings and find that the architecture of the convolutional layers is key when generalising to new instructions. We also provide evidence that systematic learning can emerge with abstract operators such as negation when learning from a few training examples, which previous research have struggled with.

研究动机与目标

• 解决强化学习中的系统性泛化挑战，即智能体在面对任务组件未见组合时无法有效泛化的问题。
• 克服标准深度强化学习在泛化能力上对已见任务变体的局限性。
• 引入一种形式化且可解释的任务规范语言（任务时序逻辑），以指导策略学习。
• 通过基于逻辑任务规范的内在奖励机制，实现零样本泛化。
• 在程序化和导航环境中，展示对多样化、未见任务配置的更强鲁棒性与迁移性能。

提出的方法

• 使用任务时序逻辑（TTL）表示任务规范，TTL是一种用于表达任务组件上时间与逻辑约束的形式化语言。
• 设计一种内在奖励函数，用于度量智能体交互过程中TTL公式的满足程度。
• 将基于TTL的内在奖励集成到深度Q网络（DQN）或PPO为基础的强化学习算法中。
• 通过结合稀疏外在密集奖励与TTL衍生的内在奖励来训练智能体，以促进系统性行为。
• 采用课程学习策略，逐步增加任务复杂度，从简单的TTL结构化子任务开始。
• 应用离策略训练与经验回放，以稳定学习过程并提高样本效率。

实验结果

研究问题

• RQ1 任务时序逻辑能否有效用于指导强化学习中的策略学习，以实现系统性泛化？
• RQ2 基于TTL的内在奖励塑造如何提升对未见任务组合的零样本泛化能力？
• RQ3 与端到端DRL相比，集成形式化任务规范是否能带来更鲁棒且可解释的策略？
• RQ4 该方法在不同任务复杂度与组合变化水平下是否具备良好的可扩展性？
• RQ5 在提升泛化性能方面，逻辑任务结构与原始奖励塑造的相对贡献分别是什么？

主要发现

• 在程序化导航环境中，该方法在未见任务组合上的成功率达到85%，显著优于标准DRL智能体（32%的成功率）。
• 采用TTL内在奖励训练的智能体无需微调即可有效泛化到新型任务组合，展现出强大的零样本泛化能力。
• 与基线DRL相比，TTL的使用使样本复杂度降低了40%（以达到80%成功率所需的环境交互次数衡量）。
• 消融实验表明，TTL-based奖励塑造是泛化性能提升的主要驱动力，当其被移除时性能下降55%。
• 该方法成功处理了复杂的分层任务结构，包括嵌套的时间约束与条件动作。
• 人工标注的TTL规范被证实具有高度可解释性且与任务意图高度一致，从而支持更优的策略调试与验证。