[论文解读] Reinforcement Learning with A* and a Deep Heuristic

Ariel Keselman, S. Ten+2 more|arXiv (Cornell University)|Nov 19, 2018

Reinforcement Learning in Robotics参考文献 12被引用 13

一句话总结

该论文提出 \aleph^{*}，一种基于模型的强化学习算法，通过将 A* 搜索与深度神经网络启发式函数相结合，实现复杂环境中的高效规划。通过使用卷积神经网络（CNN）通过软时序差分更新预测动作值，\aleph^{*} 在基于像素的驾驶模拟中实现了优于 N-Step DQN 的样本效率和性能表现，其搜索树展现出极高的序列效率（85% 的节点构成近似序列路径），并达到理论奖励上限的 50%。

ABSTRACT

A* is a popular path-finding algorithm, but it can only be applied to those domains where a good heuristic function is known. Inspired by recent methods combining Deep Neural Networks (DNNs) and trees, this study demonstrates how to train a heuristic represented by a DNN and combine it with A*. This new algorithm which we call aleph-star can be used efficiently in domains where the input to the heuristic could be processed by a neural network. We compare aleph-star to N-Step Deep Q-Learning (DQN Mnih et al. 2013) in a driving simulation with pixel-based input, and demonstrate significantly better performance in this scenario.

研究动机与目标

• 为解决 A* 在缺乏已知启发式函数的领域中的局限性，通过强化学习训练深度神经网络启发式函数。
• 开发一种基于模型的强化学习算法，利用带有学习启发式函数的树搜索，在高维观测空间中实现高效规划。
• 在具有像素输入的环境中（如驾驶模拟）提升样本效率与性能，超越标准 DQN。
• 通过有效的启发式引导搜索构建浅层、高度序列化的树结构，实现近实时规划。

提出的方法

• 该算法使用优先队列根据累积奖励与估计 Q 值的组合扩展节点，优先选择高奖励、高预期回报的路径。
• 动作值通过软时序差分更新从叶节点反向传播至根节点，其定义为 $ Q^{s}_{a} = r^{s}_{a} + \gamma \frac{\sum_{b\in{\mathcal{A}}} Q^{x}_{b} w^{x}_{b}}{\sum_{b\in{\mathcal{A}}} w^{x}_{b}} $，该方法对动作值进行平滑处理，而非采用硬性最大值。
• 一个深度卷积神经网络（CNN）作为启发式函数 $ \mathcal{H}_{\theta} $，处理原始像素观测以预测动作值。
• 网络通过均方误差损失进行训练：$ \mathcal{L} = \frac{\left|Q^{s} - \mathcal{H}_{\theta}(S(s))\right|^{2}}{\mathrm{len}(\mathcal{A})} $，采用随机梯度下降优化。
• 将已完成树中的经验存储在回放缓冲区中，并用于更新网络权重，实现持续学习。
• 时间动态信息（如速度、转向）被直接编码到像素颜色中，避免使用帧堆叠，从而实现从单帧观测的端到端学习。

实验结果

研究问题

• RQ1 能否有效训练并集成深度神经网络启发式函数至 A* 搜索中，以提升在复杂、高维环境中的规划效率？
• RQ2 在基于像素的控制任务中，经学习深度启发式函数增强的 A* 算法相较于标准 DQN 的性能表现如何？
• RQ3 搜索树的结构特征（如分支因子、序列深度）在多大程度上影响实时规划的可行性？
• RQ4 与标准 Q-learning 更新相比，使用软时序差分更新是否能提升学习稳定性与性能？

主要发现

• \aleph^{*} 算法在驾驶模拟中经过 1000 次训练迭代后，达到理论奖励上限 50% 的累积奖励，表明其具备高效的模型学习能力。
• 仅使用训练好的启发式函数（不进行树搜索）导致性能下降 50%，表明树搜索对实现完整性能至关重要。
• 即使在高探索率（$\epsilon = 1$）下，N-Step DQN 仍无法在相同环境中有效学习，凸显了 \aleph^{*} 结构化搜索的优势。
• \aleph^{*} 的搜索树结构表现出极高效率，85% 的节点构成近乎序列的路径，支持高效的实时规划。
• 由于使用了优先队列，该算法的时间复杂度为 $\mathcal{O}(\text{rank})$，而基于滚动的算法（如 MCTS）为 $\mathcal{O}(\text{rank}^2)$，因此更适合处理大规模树结构。