[论文解读] TIDBD: Adapting Temporal-difference Step-sizes Through Stochastic Meta-descent

Alexandra Kearney, Vivek Veeriah+3 more|arXiv (Cornell University)|Apr 10, 2018

Model Reduction and Neural Networks参考文献 11被引用 6

一句话总结

TIDBD 引入了一种向量化、自适应步长的时序差分（TD）学习方法，利用随机元梯度下降动态调整每个特征的学习率，支持步长的增加与减小。该方法在平稳与非平稳预测任务中均优于标准TD学习、标量自适应方法（如AlphaBound和RMSprop），并展现出对超参数选择的强鲁棒性，包括在真实世界机器人控制任务中的表现。

ABSTRACT

In this paper, we introduce a method for adapting the step-sizes of temporal difference (TD) learning. The performance of TD methods often depends on well chosen step-sizes, yet few algorithms have been developed for setting the step-size automatically for TD learning. An important limitation of current methods is that they adapt a single step-size shared by all the weights of the learning system. A vector step-size enables greater optimization by specifying parameters on a per-feature basis. Furthermore, adapting parameters at different rates has the added benefit of being a simple form of representation learning. We generalize Incremental Delta Bar Delta (IDBD)---a vectorized adaptive step-size method for supervised learning---to TD learning, which we name TIDBD. We demonstrate that TIDBD is able to find appropriate step-sizes in both stationary and non-stationary prediction tasks, outperforming ordinary TD methods and TD methods with scalar step-size adaptation; we demonstrate that it can differentiate between features which are relevant and irrelevant for a given task, performing representation learning; and we show on a real-world robot prediction task that TIDBD is able to outperform ordinary TD methods and TD methods augmented with AlphaBound and RMSprop.

研究动机与目标

• 为解决TD学习中手动调节步长带来的挑战，该挑战严重影响模型性能与泛化能力。
• 开发一种动态自适应步长的方法，支持步长的增加与减小，以应对TD学习中固有的非平稳性。
• 将此前在监督学习中通过IDBD实现的向量化步长自适应方法扩展至TD学习，实现每个特征的学习率优化。
• 评估该自适应机制是否能通过区分相关与无关特征，实现隐式表征学习。
• 在真实世界机器人预测任务中，证明TIDBD相较于标准TD和现有自适应方法的优越性。

提出的方法

• 将增量Delta Bar Delta（IDBD）推广至TD学习，提出TIDBD（时序差分IDBD），通过步长上的随机元梯度下降实现。
• 采用步长向量，每个特征对应一个步长，支持每个特征的自适应调整，从而通过差异化的学习率实现表征学习。
• 基于近期权重更新的相关性，采用元梯度更新规则来调整每个特征的步长，实现动态适应。
• 结合使用优势迹（包括累积式与替换式），以在状态间传播信用，同时根据更新的时间相关性自适应调整步长。
• 引入元参数θ以控制步长自适应的速率，并对不同λ和θ值进行了敏感性分析。
• 采用基于相关性的机制检测权重更新是否高度相关，对更新模式稳定的特征降低其步长。

实验结果

研究问题

• RQ1 在平稳与非平稳环境中，是否能证明一种向量化、自适应步长的TD学习方法优于使用固定或标量自适应步长的标准TD方法？
• RQ2 TIDBD的每个特征步长自适应是否能通过为相关特征分配更高的学习率，实现隐式表征学习？
• RQ3 TIDBD的性能对元参数θ的选择敏感程度，相较于标准TD对学习率α的敏感性如何？
• RQ4 在真实世界机器人预测任务中，TIDBD是否能优于基线方法（如TD、AlphaBound和RMSprop）？
• RQ5 当结合不同优势迹方法（累积式 vs. 替代式）时，TIDBD的稳定性与收敛特性如何？

主要发现

• 在所有测试环境中，TIDBD均优于经过调优的静态步长标准TD方法，包括平稳预测任务。
• 在非平稳任务中，TIDBD成功自适应调整步长以补偿动态变化，展现出对非平稳性的强鲁棒性。
• TIDBD能够区分相关与无关特征，为相关特征分配更高的学习率，从而实现隐式表征学习。
• 在真实世界机器人预测任务中，TIDBD在所有参数设置下均优于标准TD和标量自适应方法（如AlphaBound）。
• TIDBD在平均误差上的方差显著更低，且对元参数θ的敏感性远低于标准TD对α的敏感性。
• 在使用替换式优势迹时，即使元步长设置非最优，TIDBD的性能仍可媲美或优于最佳调优的TD方法；然而，使用累积式优势迹时，较高的λ值可能导致不稳定性。