[论文解读] On the Generalization of Representations in Reinforcement Learning

Charline Le Lan, Stephen Tu+3 more|arXiv (Cornell University)|Mar 1, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种强化学习中泛化误差的理论边界，该边界依赖于状态表征的有效维度，量化了近似与泛化之间的权衡。结果表明，有效维度较低的表征泛化能力更强，并通过经典强化学习方法和Atari环境的实证验证，表明有效维度与性能相关，基于该边界的辅助损失可提升离线强化学习的性能。

ABSTRACT

In reinforcement learning, state representations are used to tractably deal with large problem spaces. State representations serve both to approximate the value function with few parameters, but also to generalize to newly encountered states. Their features may be learned implicitly (as part of a neural network) or explicitly (for example, the successor representation of \citet{dayan1993improving}). While the approximation properties of representations are reasonably well-understood, a precise characterization of how and when these representations generalize is lacking. In this work, we address this gap and provide an informative bound on the generalization error arising from a specific state representation. This bound is based on the notion of effective dimension which measures the degree to which knowing the value at one state informs the value at other states. Our bound applies to any state representation and quantifies the natural tension between representations that generalize well and those that approximate well. We complement our theoretical results with an empirical survey of classic representation learning methods from the literature and results on the Arcade Learning Environment, and find that the generalization behaviour of learned representations is well-explained by their effective dimension.

研究动机与目标

• 为解决在强化学习中状态表征何时以及如何泛化的精确表征缺乏问题。
• 形式化表征近似质量与泛化能力之间的权衡。
• 提出一个基于表征有效维度的泛化误差理论边界。
• 通过多种强化学习方法和环境，实证验证有效维度与泛化性能之间的关联。
• 通过设计一种基于边界的辅助损失，展示其在实际中的有效性，以提升离线强化学习性能。

提出的方法

• 提出一种依赖于特征矩阵Φ一致性的蒙特卡洛值函数估计泛化误差边界，该矩阵定义了表征的有效维度。
• 将有效维度定义为：对某一状态值的了解能多大程度上推断其他状态的值，其取值范围从k（最优）到|S|（无泛化）。
• 将该边界应用于后续表示（SR），表明其泛化能力取决于SR矩阵的奇异向量。
• 提出一种基于有效维度边界的辅助损失，用于在深度强化学习中正则化表征学习。
• 通过在Atari游戏中对DQN、Rainbow、IQN和M-IQN的表征进行实证评估，使用1500次运行的批量统计计算有效维度。
• 在离线强化学习实验中，使用一个包含超参数α的联合损失，平衡时序差分损失与辅助正则化。

实验结果

研究问题

• RQ1 状态表征的有效维度在多大程度上影响其在强化学习中的泛化能力？
• RQ2 所提出的泛化误差边界在多大程度上能准确预测不同表征的实证性能？
• RQ3 基于有效维度的辅助损失能否改善表征学习和下游强化学习性能？
• RQ4 后续表示的泛化行为如何随环境转移结构的变化而变化？
• RQ5 在Atari上的深度强化学习智能体中，有效维度、秩与实证性能之间的关系是什么？

主要发现

• 表征的有效维度是泛化性能的强预测因子，有效维度越低，泛化能力越强。
• 在四房间环境中的实验表明，有效维度较低的表征泛化能力更强，尤其在转移动态变化时表现更优。
• 在街机学习环境（Arcade Learning Environment）中，有效维度与DQN、Rainbow、IQN和M-IQN智能体的实证性能显著相关。
• 基于有效维度边界的辅助损失在离线强化学习设置中提升了性能，α=0.1时取得最优增益。
• 表征的秩（用作近似误差的代理）与训练进度相关，且与有效维度不同，后者捕捉的是泛化特性。