[论文解读] Unsupervised Representation Learning in Deep Reinforcement Learning: A Review

Nicolò Botteghi, Mannes Poel+1 more|arXiv (Cornell University)|Aug 27, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本综述总结了深度强化学习（DRL）中无监督表征学习（SRL）方法，重点在于从高维、噪声观测中学习低维、可解释的状态表征。综述涵盖了自编码器、对比学习、潜在MDP模型以及基于先验的方法，展示了这些方法在缓解维度灾难、提升DRL的样本效率、鲁棒性和泛化能力方面的作用，同时增强了黑箱策略的可解释性。

ABSTRACT

This review addresses the problem of learning abstract representations of the measurement data in the context of Deep Reinforcement Learning (DRL). While the data are often ambiguous, high-dimensional, and complex to interpret, many dynamical systems can be effectively described by a low-dimensional set of state variables. Discovering these state variables from the data is a crucial aspect for (i) improving the data efficiency, robustness, and generalization of DRL methods, (ii) tackling the curse of dimensionality, and (iii) bringing interpretability and insights into black-box DRL. This review provides a comprehensive and complete overview of unsupervised representation learning in DRL by describing the main Deep Learning tools used for learning representations of the world, providing a systematic view of the method and principles, summarizing applications, benchmarks and evaluation strategies, and discussing open challenges and future directions.

研究动机与目标

• 为解决深度强化学习（DRL）中高维、模糊观测的挑战，通过学习紧凑且有意义的状态表征。
• 通过从原始数据中发现低维状态变量，提升DRL的样本效率、鲁棒性和泛化能力。
• 通过无监督表征学习增强可解释性，并为黑箱DRL策略提供洞察。
• 系统化状态表征学习在DRL中的评估策略与基准测试。
• 识别开放挑战，如不确定性量化、归纳偏置以及通用表征的元学习。

提出的方法

• 调研四类主要SRL方法：观测重建（如自编码器）、潜在MDP建模、基于先验的正则化以及对比学习。
• 将深度神经网络——全连接、卷积和循环网络——整合到状态表征学习中，以建模复杂的观测空间。
• 应用辅助损失（如预测、重建）对自编码器基表征进行正则化，以改善解耦性。
• 在基于模型的强化学习中使用潜在前向模型和奖励模型，从原始观测中学习具有预测能力的低维表征。
• 采用结构先验和归纳偏置（如对称性、群不变性）指导表征学习，提升泛化能力。
• 通过训练过程中的奖励、结构度量（如线性探测准确率）以及定性可解释性评估来评估表征质量。

实验结果

研究问题

• RQ1 无监督表征学习如何提升模型无关深度强化学习中的样本效率与泛化能力？
• RQ2 从高维观测中学习解耦且不变的状态表征时，最有效的网络架构与训练目标是什么？
• RQ3 如何利用无监督表征学习构建并优化潜在MDP模型以支持基于模型的强化学习？
• RQ4 归纳偏置、对称性与先验知识在提升学习表征的鲁棒性与可解释性方面发挥什么作用？
• RQ5 如何改进不确定性量化与评估度量，以可靠评估DRL中无监督表征的质量？

主要发现

• 无监督表征学习通过降低有效状态空间的维度，显著提升了DRL的样本效率与泛化能力。
• 基于自编码器并结合辅助损失（如预测、重建）的方法可提升表征质量，并加快DRL训练的收敛速度。
• 对比学习与潜在MDP模型能够发现解耦且不变的表征，这些表征可在不同环境与任务间实现良好泛化。
• 结构度量（如线性探测准确率）与下游强化学习性能相关，但无法保证最优奖励，凸显了评估的局限性。
• 通过深度核学习进行不确定性量化在提升表征学习鲁棒性方面展现出潜力，尤其在噪声或混沌动力学条件下。
• 通用表征的元学习仍研究不足，但为实现DRL中高效的少样本适应与迁移学习提供了可行路径。