[论文解读] Predictive State Temporal Difference Learning

Byron Boots, Geoffrey J. Gordon|arXiv (Cornell University)|Oct 30, 2010

Reinforcement Learning in Robotics参考文献 34被引用 19

一句话总结

本文提出预测状态时差（PSTD）学习，一种新颖算法，结合线性时差学习与子空间辨识，可自动将大量特征压缩为最小且具有预测性的子空间。PSTD通过仅保留预测性信息，实现统计上一致的价值函数估计，在高维金融衍生品最优停止问题中表现优于LSTD与LARS-TD，相较于先前最佳结果将误差降低1.24个百分点。

ABSTRACT

We propose a new approach to value function approximation which combines linear temporal difference reinforcement learning with subspace identification. In practical applications, reinforcement learning (RL) is complicated by the fact that state is either high-dimensional or partially observable. Therefore, RL methods are designed to work with features of state rather than state itself, and the success or failure of learning is often determined by the suitability of the selected features. By comparison, subspace identification (SSID) methods are designed to select a feature set which preserves as much information as possible about state. In this paper we connect the two approaches, looking at the problem of reinforcement learning with a large set of features, each of which may only be marginally useful for value function approximation. We introduce a new algorithm for this situation, called Predictive State Temporal Difference (PSTD) learning. As in SSID for predictive state representations, PSTD finds a linear compression operator that projects a large set of features down to a small set that preserves the maximum amount of predictive information. As in RL, PSTD then uses a Bellman recursion to estimate a value function. We discuss the connection between PSTD and prior approaches in RL and SSID. We prove that PSTD is statistically consistent, perform several experiments that illustrate its properties, and demonstrate its potential on a difficult optimal stopping problem.

研究动机与目标

• 解决时差学习中的特征选择挑战，其中高维或部分可观察的状态会导致过拟合与泛化能力差。
• 开发一种方法，能从大量可能弱相关的特征中自动识别出紧凑且具有预测性的特征子空间。
• 通过借鉴系统辨识与预测状态表示（PSR）的洞见，提升价值函数近似中的数据效率与统计一致性。
• 在实际强化学习问题中，特别是金融衍生品定价中，展示PSTD相较于LSTD与LARS-TD等现有方法的优越性。

提出的方法

• PSTD使用子空间辨识（SSID）将高维特征空间投影到低维子空间，以保留对未来奖励的最大预测信息。
• 该算法应用基于时间相邻特征样本的线性压缩算子，提取一组最小特征，同时保持其预测能力。
• 在压缩后的特征空间上通过贝尔曼递推估计价值函数，确保与底层动力系统的一致性。
• 该方法在预测状态表示（PSR）理论上具有基础，压缩后的特征在温和假设下渐近等价于真实PSR状态。
• PSTD被证明具有统计一致性，其收敛性取决于动力系统的内在维度，而非原始状态空间的大小。
• 该方法通过合成实验与一个涉及高维金融衍生品的真实世界最优停止问题得到验证。

实验结果

研究问题

• RQ1 是否存在一种原则性、数据驱动的特征压缩方法，可提升高维或部分可观察环境中时差学习的统计一致性与数据效率？
• RQ2 当特征集包含大量边际相关特征而非少数高度相关特征时，PSTD在预测准确性上与LARS-TD和LSTD相比如何？
• RQ3 在PSR背景下，PSTD的压缩特征空间在多大程度上可作为真实底层系统状态的一致估计量？
• RQ4 使用子空间辨识进行特征压缩是否能在实际问题（如金融衍生品定价）中带来可测量的价值函数估计与策略性能提升？

主要发现

• 在高维金融衍生品最优停止问题中，PSTD比LARS-TD高出1.75个百分点，且优于此前最佳报告结果1.24个百分点。
• 该算法通过将220个特征压缩至16个，实现了稳定的价值函数估计，且压缩后的特征渐近等价于真实预测状态表示（PSR）状态。
• PSTD在性能上优于使用原始16个手工选择特征或全部220个特征集的LSTD，表明通过最大化预测信息进行特征压缩，比人工特征选择或使用全部特征更有效。
• 该方法的统计一致性已得到证明，其收敛性取决于动力系统的内在线性维度，而非POMDP状态空间的基数。
• 实验表明，PSTD在鲁棒性与数据效率方面表现优异，尤其在大量特征仅边际贡献于预测时，其表现优于LARS-TD等稀疏选择方法。
• 结果表明，PSTD可显著提升衍生品定价中的套利机会，因为更准确的价值函数估计可带来更精确的证券估值。