[论文解读] Psychlab: A Psychology Laboratory for Deep Reinforcement Learning Agents

Joel Z. Leibo, Cyprien de Masson d’Autume+11 more|arXiv (Cornell University)|Jan 24, 2018

EEG and Brain-Computer Interfaces参考文献 14被引用 61

一句话总结

Psychlab 提供一个基于 DeepMind Lab 的平台，用于在人人类和深度 RL 代理之间运行经典认知心理学实验，便于直接的表现比较和心理物理分析。关于 UNREAL 的案例研究揭示尺度/对比度效应导致的中枢视野改进。

ABSTRACT

Psychlab is a simulated psychology laboratory inside the first-person 3D game world of DeepMind Lab (Beattie et al. 2016). Psychlab enables implementations of classical laboratory psychological experiments so that they work with both human and artificial agents. Psychlab has a simple and flexible API that enables users to easily create their own tasks. As examples, we are releasing Psychlab implementations of several classical experimental paradigms including visual search, change detection, random dot motion discrimination, and multiple object tracking. We also contribute a study of the visual psychophysics of a specific state-of-the-art deep reinforcement learning agent: UNREAL (Jaderberg et al. 2016). This study leads to the surprising conclusion that UNREAL learns more quickly about larger target stimuli than it does about smaller stimuli. In turn, this insight motivates a specific improvement in the form of a simple model of foveal vision that turns out to significantly boost UNREAL's performance, both on Psychlab tasks, and on standard DeepMind Lab tasks. By open-sourcing Psychlab we hope to facilitate a range of future such studies that simultaneously advance deep reinforcement learning and improve its links with cognitive science.

研究动机与目标

• 将 Psychlab 介绍为 DeepMind Lab 内一个灵活的心理学实验室，用于在经典认知心理学任务上测试人类和深度 RL 代理。
• 提供视觉搜索、变更检测、随机点运动判别和多对象追踪等任务的实现。
• 分析最先进深度 RL 代理 UNREAL 的视觉心理物理学，并推导潜在的代理改进。
• 开源 Psychlab 以促进未来在认知科学与深度强化学习之间的研究。

提出的方法

• 描述 Psychlab 平台及其与 DM-Lab 的集成。
• 概述基于 Lua 的 Psychlab API，用于在监视器上构建刺激和任务，带有小部件和凝视回调。
• 解释 Psychlab 实验中使用的强化学习设置和奖励方案。
• 展示自适应阶梯程序以测量心理物理阈值并为代理提供类似课程的学习。
• 详细说明一个将视觉心理物理学应用到 UNREAL 的案例研究，包括锐度、对比敏感性以及尺寸/对比度效应。

实验结果

研究问题

• RQ1 在 Psychlab 环境中，深度 RL 代理在经典心理物理学任务上的表现与人类相比如何？
• RQ2 可以通过 Psychlab 任务分离出哪些认知/感知能力，代理在这些任务中与人类有何差异？
• RQ3 心理物理测量（阈值、心理测量函数）是否能揭示深度 RL 代理的局限性或优势？
• RQ4 简单的结构或输入处理改变（例如中心视野模型）是否能提升代理在 Psychlab 任务及相关 DM-Lab 任务的表现？

主要发现

• UNREAL 即使在相同输入分辨率下也表现出比人类更差的视觉锐度。
• UNREAL 的对比敏感性与人类不同，在中等对比度下表现较差，但在非常低的对比度下表现较好。
• UNREAL 在指向任务中强烈受目标大小和诱惑物存在的影响，表明卷积网络中的权重共享效应会对较大目标加速学习。
• 玻璃图案检测在 UNREAL 中呈现出类似人类的阈值，具有相似的 S 型心理测量函数形状，对于白色和黑色模式，在相对一致的相位的 0.5 相干度处达到约 75% 阈值。
• 引入一个简单的中央视野（注视）视觉机制可提升 UNREAL 在 Psychlab 以及标准 DM-Lab 任务上的表现。
• Psychlab 能够识别学习动力学和由卷积权重共享在深度 RL 代理中可能导致的次优局部最优。