[论文解读] Perceptual Reward Functions

Ashley D. Edwards, Charles L. Isbell+1 more|arXiv (Cornell University)|Aug 12, 2016

Reinforcement Learning in Robotics参考文献 14被引用 14

一句话总结

本文提出了感知奖励函数（PRFs），一种通过比较智能体状态与目标图像之间的视觉相似性来指定强化学习任务的方法，无需依赖领域特定的奖励参数。通过使用运动模板和HOG特征对比视觉表征，PRFs使智能体能够直接从原始像素学习复杂行为——如面部表情或折纸折叠——即使智能体与目标的表征在来源或外观上存在差异，也能有效完成任务学习。

ABSTRACT

Reinforcement learning problems are often described through rewards that indicate if an agent has completed some task. This specification can yield desirable behavior, however many problems are difficult to specify in this manner, as one often needs to know the proper configuration for the agent. When humans are learning to solve tasks, we often learn from visual instructions composed of images or videos. Such representations motivate our development of Perceptual Reward Functions, which provide a mechanism for creating visual task descriptions. We show that this approach allows an agent to learn from rewards that are based on raw pixels rather than internal parameters.

研究动机与目标

• 解决通过依赖领域特定状态变量的手动设计奖励函数来指定复杂强化学习任务的挑战。
• 实现通过视觉示范或目标图像进行任务指定，模仿人类通过视频或图像学习的方式。
• 开发一种无需修改内部任务参数即可适用于不同任务的一般性视觉奖励函数。
• 评估运动模板和HOG特征等视觉表征是否能有效编码任务目标并支持成功学习。
• 证明即使智能体的视觉状态与目标表征在来源或外观上不同，智能体仍能学习到期望的行为。

提出的方法

• 本文提出感知奖励函数（PRFs），其奖励基于智能体当前状态与目标表征之间的视觉相似性，使用原始像素输入进行计算。
• 运动模板用于从视频序列中编码时间上的运动模式，强度越高表示越近的运动，从而实现动作的时空表征。
• 从运动模板中提取方向梯度直方图（HOG）特征，以生成紧凑且具有判别性的表征，用于比较智能体与目标状态。
• 提出了三种任务表征方法：视觉奖励函数（VRF）、基于关键点的奖励函数（KPRF）和人类感知奖励函数（HPRF），每种方法使用不同的视觉描述符。
• 使用深度Q网络（DQN）近似Q值函数，实现基于视觉状态输入的价值学习。
• 奖励计算为智能体运动模板与目标模板的HOG特征之间L2距离的倒数，以鼓励行为与期望目标对齐。

实验结果

研究问题

• RQ1 是否可以仅通过智能体状态与目标图像之间的视觉相似性来有效指定强化学习任务，而无需依赖内部领域参数？
• RQ2 运动模板和HOG特征是否可作为强化学习中任务表征的有效视觉描述符？
• RQ3 当目标表征源自不同来源（如人类示范视频）而非智能体自身观测时，智能体是否仍能学习到有意义的行为？
• RQ4 在训练过程中，智能体行为与目标模板之间的视觉相似性如何演变，其变化是否与任务成功相关？
• RQ5 PRFs是否能跨不同任务和表征（如面部表情或物体操作）通用，使用相同的奖励机制？

主要发现

• HPRF智能体成功学习了如快乐和惊讶等面部表情，模仿了如嘴部拉伸或眉毛上扬等典型动作，尽管使用的是人类示范的目标模板。
• HPRF目标模板与智能体生成的运动模板之间的距离随时间减小，表明智能体的行为逐渐在视觉上与目标相似。
• VRF和KPRF智能体在惊讶和快乐任务中均取得了高成功率，HPRF智能体在学习正确动作模式方面表现出相当的性能。
• 运动模板表征有效捕捉了动作的时空动态，即使智能体与目标的来源不同，也能实现可靠的视觉比较。
• 在运动模板上使用HOG特征提供了一种鲁棒且可泛化的视觉相似性计算方式，支持有效学习而无需针对任务进行奖励工程。
• 结果表明，PRFs可仅通过视觉任务描述支持复杂行为的学习，而无需修改内部奖励参数。