[论文解读] Multi-View Reinforcement Learning

Minne Li, Lisheng Wu+2 more|arXiv (Cornell University)|Oct 18, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出多视角强化学习（MVRL），一种将部分可观察马尔可夫决策过程（POMDPs）扩展至支持多个观测模型并共享动态特性的框架。该研究提出两种方法——用于无模型学习的观测增强方法，以及用于有模型学习的跨视角策略迁移方法——在基准环境上显著降低了样本复杂度和训练时间。

ABSTRACT

This paper is concerned with multi-view reinforcement learning (MVRL), which allows for decision making when agents share common dynamics but adhere to different observation models. We define the MVRL framework by extending partially observable Markov decision processes (POMDPs) to support more than one observation model and propose two solution methods through observation augmentation and cross-view policy transfer. We empirically evaluate our method and demonstrate its effectiveness in a variety of environments. Specifically, we show reductions in sample complexities and computational time for acquiring policies that handle multi-view environments.

研究动机与目标

• 解决智能体通过不同感官模态观测相同底层动态环境时的决策问题。
• 通过支持多视角观测融合，克服标准强化学习与POMDPs仅假设单一观测模型的局限性。
• 开发高效的学习方法，以降低多视角设置下的样本复杂度与计算成本。
• 实现在不同传感器配置与领域间策略的泛化能力与容错性。
• 通过直接建模跨视角的共享动态，弥合多视角监督学习与强化学习之间的差距。

提出的方法

• 通过定义跨视角的联合观测空间与联合观测函数，将POMDPs扩展以支持多个观测模型。
• 提出一种无模型方法，采用观测增强技术，将多个视角的特征拼接以形成策略网络的统一输入。
• 提出一种有模型方法，采用跨视角策略迁移，通过共享的世界模型将一个视角上训练的策略迁移到另一视角。
• 利用共享的动力学模型捕捉跨视角的潜在环境转移，提升样本效率。
• 使用循环神经网络架构建模多视角观测中的时序依赖，支持长时程规划。
• 将有模型规划与无模型微调相结合，以稳定学习过程并提升数据效率。

实验结果

研究问题

• RQ1 能否设计一种统一的强化学习框架，以处理多个观测模型，同时保持共享的环境动态？
• RQ2 与标准PPO相比，观测增强方法在无模型多视角强化学习中如何提升样本效率？
• RQ3 在有模型多视角强化学习中，跨视角策略迁移能在多大程度上降低样本复杂度？
• RQ4 共享动力学建模是否能提升不同传感器配置下的泛化能力并加快收敛速度？
• RQ5 与现有多视角及多任务强化学习方法相比，所提出的MVRL框架在数据效率与训练时间方面表现如何？

主要发现

• 在无模型MVRL中，观测增强方法在多视角控制基准测试中相比标准PPO将样本复杂度降低了最多50%。
• 在有模型MVRL中，跨视角策略迁移方法相比基线方法将训练样本数减少了最多70%。
• MVRL在不同视角间表现出改进的策略泛化能力，实现在切换传感器模态时的快速适应。
• 共享动力学模型显著提升了学习稳定性与相关性信号质量，尤其在高维观测空间中表现突出。
• 该方法实现了异构视角间（如图像与时间序列传感器数据）的有效数据融合，且无需人工特征工程。
• 实验结果表明，MVRL在样本效率与计算效率方面均优于当前最先进的无模型与多任务强化学习方法。