[论文解读] Reasoning and Generalization in RL: A Tool Use Perspective

Sam Wenke, Dan Saunders+2 more|arXiv (Cornell University)|Jul 3, 2019

Reinforcement Learning in Robotics参考文献 37被引用 5

一句话总结

本文提出了一种基于强化学习（RL）的基准框架，用于研究工具使用与泛化能力，灵感源自动物认知中的经典陷阱-导管实验。该框架引入了多种任务变体，以评估智能体在因果、结构和符号推理方面的能力，表明稀疏奖励以及特定的归纳偏置（如卷积神经网络或记忆机制）对于在多样化环境中学习工具使用与泛化至关重要。

ABSTRACT

Learning to use tools to solve a variety of tasks is an innate ability of humans and has been observed of animals in the wild. However, the underlying mechanisms that are required to learn to use tools are abstract and widely contested in the literature. In this paper, we study tool use in the context of reinforcement learning and propose a framework for analyzing generalization inspired by a classic study of tool using behavior, the trap-tube task. Recently, it has become common in reinforcement learning to measure generalization performance on a single test set of environments. We instead propose transfers that produce multiple test sets that are used to measure specified types of generalization, inspired by abilities demonstrated by animal and human tool users. The source code to reproduce our experiments is publicly available at https://github.com/fomorians/gym_tool_use.

研究动机与目标

• 开发一个结构化的框架，通过工具使用视角评估强化学习中的泛化能力，灵感源自动物认知。
• 解决当前强化学习中工具使用泛化缺乏系统性评估协议的问题，目前的评估多依赖于单一测试集基准。
• 定义并实现多种任务变体，以在统一的强化学习设置下测试不同的推理能力——因果、结构和符号推理。
• 提供可复现的基准，并公开代码，以支持对工具使用强化学习智能体泛化性能的标准化评估。
• 探究在稀疏奖励设置下，智能体学习并泛化工具使用行为所需的归纳偏置。

提出的方法

• 将动物认知中的经典陷阱-导管任务改编为适用于强化学习智能体的离散、网格世界环境。
• 设计多种测试环境，以隔离并测量特定的推理能力：因果（如物体交互）、结构（如物体记忆）和符号（如双重表征）。
• 仅在任务成功完成时提供稀疏密集奖励，模拟现实世界中的探索与有限监督下的学习过程。
• 采用近端策略优化（PPO）作为基线方法，在所有任务变体中评估性能，便于与未来方法进行比较。
• 设计环境，要求智能体推理物体角色（如棍子作为工具，导管作为约束）及其相互作用，以解决任务。
• 引入模块化实验设置，使每种环境变体测试一种特定类型的泛化，从而实现对智能体能力的针对性分析。

实验结果

研究问题

• RQ1 在强化学习的工具使用任务中，智能体泛化所需的推理类型——因果、结构或符号——有哪些？
• RQ2 不同的归纳偏置（如卷积神经网络、记忆机制）如何影响智能体学习和泛化工具使用行为的能力？
• RQ3 单一强化学习框架能否支持多个独立的泛化基准，以反映现实世界中的工具使用推理能力？
• RQ4 稀疏奖励设计如何影响强化学习智能体中工具使用行为的出现及其泛化能力？
• RQ5 在缺乏显式推理先验的情况下，当前的强化学习算法（如PPO）在解决结构化工具使用任务方面的表现如何？

主要发现

• 所提出的基准通过专门的环境变体，成功隔离并测量了因果、结构和符号推理等不同类型的推理能力。
• 仅依赖稀疏奖励的智能体在缺乏强归纳偏置的情况下难以发现工具使用行为，表明先验知识的必要性。
• 卷积神经网络（CNNs）作为局部物体交互的强感知先验，但在工具使用任务中的非局部推理方面仍显不足。
• 结构推理需要对过去交互的记忆，表明智能体必须保持对物体关系的内部表征，才能解决如陷阱-导管等任务。
• 符号推理（涉及物体的双重表征）仍具挑战性，可能需要超越标准深度强化学习架构的专用归纳偏置。
• 该基准提供了一个可复现的框架，并公开代码，支持对不同强化学习方法泛化性能的系统性评估与比较。