[论文解读] Reducing sampling error in batch temporal difference learning

Brahma S. Pavse|arXiv (Cornell University)|May 1, 2020

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出PSEC-TD(0)，一种批量时序差分学习算法，通过重要性采样校正TD(0)中的采样误差，以弥补经验动作频率与真实评估策略分布之间的差异。实验表明，PSEC-TD(0)收敛至更低误差的固定点，并在多个任务中显著降低了值函数估计的均方误差。

ABSTRACT

Temporal difference (TD) learning is one of the main foundations of modern reinforcement learning. This thesis studies the use of TD(0), a canonical TD algorithm, to estimate the value function of a given evaluation policy from a batch of data. In this batch setting, we show that TD(0) may converge to an inaccurate value function because the update following an action is weighted according to the number of times that action occurred in the batch -- not the true probability of the action under the evaluation policy. To address this limitation, we introduce policy sampling error corrected-TD(0) (PSEC-TD(0)). PSEC-TD(0) first estimates the empirical distribution of actions in each state in the batch and then uses importance sampling to correct for the mismatch between the empirical weighting and the correct weighting for updates following each action. We refine the concept of a certainty-equivalence estimate and argue that PSEC-TD(0) converges to a more desirable fixed-point than TD(0) for a fixed batch of data. Finally, we conduct a thorough empirical evaluation of PSEC-TD(0) on three batch value function learning tasks in a variety of settings and show that PSEC-TD(0) produces value function estimates with lower mean squared error than the standard TD(0) algorithm

研究动机与目标

• 解决批量设置下标准TD(0)因基于经验动作频率而非真实策略概率的偏差加权而导致值函数估计不准确的问题。
• 通过校正策略采样误差，改善批量学习中TD(0)的固定点收敛性。
• 提出一种方法，改进确定性等价估计的概念，使其更符合真实评估策略。
• 通过实证结果证明，所提方法在值函数估计中的均方误差显著低于标准TD(0)。

提出的方法

• 从批量数据中估计每个状态的经验动作分布，以捕捉各动作被观测到的频率。
• 应用重要性采样，根据真实评估策略概率与经验动作频率之比，重新加权TD更新。
• 使用校正后的重要权重调整时序差分更新规则，确保更新反映真实策略分布。
• 制定一种改进的TD(0)更新方式，使其在评估策略下收敛至更接近真实值函数的固定点。
• 引入一种改进的确定性等价估计，以考虑批量数据中的采样偏差。
• 确保算法在降低估计误差的同时保持稳定性和收敛性。

实验结果

研究问题

• RQ1 在批量TD(0)中校正采样误差是否能带来更准确的值函数固定点估计？
• RQ2 重要性采样是否能有效缓解批量TD学习中由经验动作频率引入的偏差？
• RQ3 在多样化的批量值函数学习任务中，PSEC-TD(0)与标准TD(0)在均方误差方面有何差异？
• RQ4 对于给定的批量数据，所提方法是否能实现比标准TD(0)更优的固定点收敛？
• RQ5 PSEC-TD(0)的性能增益在不同环境和数据分布下是否具有一致性？

主要发现

• 由于校正了采样偏差，PSEC-TD(0)收敛至更接近真实值函数的固定点，优于标准TD(0)。
• 在三个批量学习任务中，PSEC-TD(0)在值函数估计中显著降低了均方误差，优于标准TD(0)。
• 在批量设置下，重要性采样有效减少了经验动作频率与真实策略分布之间的差异。
• PSEC-TD(0)中改进的确定性等价估计比标准方法提供了更准确的值函数近似。
• 实证评估证实，PSEC-TD(0)在多样化环境和数据配置下持续优于TD(0)。
• 该方法在批量学习范式中提升了估计精度，同时未牺牲收敛稳定性。