[论文解读] Using PCA to Efficiently Represent State Spaces

William J. Curran, Tim Brys+2 more|arXiv (Cornell University)|May 2, 2015

Reinforcement Learning in Robotics参考文献 10被引用 14

一句话总结

本文提出使用主成分分析（PCA）将强化学习中的高维状态空间投影到低维流形上，从而实现更快的策略收敛。通过在仅4个维度（而非完整的9个维度）中学习，智能体能够更快速地实现更优性能，展示了在超级马里奥基准测试领域中收敛速度与策略质量之间的有利权衡。

ABSTRACT

Reinforcement learning algorithms need to deal with the exponential growth of states and actions when exploring optimal control in high-dimensional spaces. This is known as the curse of dimensionality. By projecting the agent's state onto a low-dimensional manifold, we can represent the state space in a smaller and more efficient representation. By using this representation during learning, the agent can converge to a good policy much faster. We test this approach in the Mario Benchmarking Domain. When using dimensionality reduction in Mario, learning converges much faster to a good policy. But, there is a critical convergence-performance trade-off. By projecting onto a low-dimensional manifold, we are ignoring important data. In this paper, we explore this trade-off of convergence and performance. We find that learning in as few as 4 dimensions (instead of 9), we can improve performance past learning in the full dimensional space at a faster convergence rate.

研究动机与目标

• 通过降低状态空间复杂度，解决高维强化学习中的维度灾难问题。
• 探索在使用降维时，学习速度与最终策略性能之间的权衡。
• 证明通过PCA获得的低维流形可实现比全维学习更快的收敛速度和更优的性能。
• 研究在低维空间中得到的次优策略是否可通过在更高维空间中迭代学习得到改进。

提出的方法

• 从专家示范中收集状态轨迹，构建状态空间的代表性数据集。
• 应用主成分分析（PCA）计算线性变换，将高维状态空间投影到保留最大方差的低维流形上。
• 在每次学习迭代中使用前k个主成分（k ≤ 9）对状态进行投影，将状态表示缩减至k维。
• 仅在降维后的空间中执行强化学习，以加速收敛。
• 将PCA变换作为固定且预先计算的矩阵，通过矩阵乘法实现高效的实时状态投影。
• 提出一种迭代学习策略：首先在低维空间（如4维）中学习，然后将知识迁移至更高维空间（如5维）以提升最终策略质量。

实验结果

研究问题

• RQ1 基于PCA的状态空间降维是否能加速强化学习中的收敛？
• RQ2 在使用低维流形时，学习速度与最终策略性能之间的权衡如何？
• RQ3 在4维流形中学习是否在策略质量和收敛速度方面优于在完整的9维状态空间中学习？
• RQ4 与从一开始就进行全维学习相比，通过在低维空间中开始学习并逐步迁移至更高维空间的迭代学习策略，是否能提升最终策略性能？

主要发现

• 在4维流形中学习相比在完整的9维状态空间中学习，实现了更快的收敛速度和更优的策略性能。
• 前几个主成分强烈强调了跳跃、地面、当前方向、射击以及障碍物接近度等基本游戏机制。
• 与附近敌人相关的特征主要体现在方差较低、索引较高的主成分中，表明其具有情境重要性。
• 包含5个或更多维度的流形性能与全状态空间表现相似，表明在某一维度以上存在收益递减现象。
• 在2或3维空间中学习导致策略表现较差，表明其表征能力不足以支持有效学习。
• 该方法可在计算开销极低的情况下实现快速收敛，因为PCA投影仅涉及轻量级矩阵运算。