[论文解读] Q-Networks for Binary Vector Actions

Naoto Yoshida|arXiv (Cornell University)|Dec 4, 2015

Reinforcement Learning in Robotics参考文献 8被引用 3

一句话总结

本文提出一种Q-network架构，将动作价值函数建模为二值向量动作的线性函数，从而在大规模离散动作空间中实现高效的贪婪策略与Softmax动作选择。通过将网络结构设计为输出与状态相关的标量和向量，该方法无需蒙特卡洛采样即可实现可处理的Q-learning，已在二值编码动作的网格世界和阻塞器任务中验证其有效性。

ABSTRACT

In this paper reinforcement learning with binary vector actions was investigated. We suggest an effective architecture of the neural networks for approximating an action-value function with binary vector actions. The proposed architecture approximates the action-value function by a linear function with respect to the action vector, but is still non-linear with respect to the state input. We show that this approximation method enables the efficient calculation of greedy action selection and softmax action selection. Using this architecture, we suggest an online algorithm based on Q-learning. The empirical results in the grid world and the blocker task suggest that our approximation architecture would be effective for the RL problems with large discrete action sets.

研究动机与目标

• 解决将Q-learning应用于大规模离散动作空间时的挑战，其中动作数量随二值向量长度呈指数增长。
• 克服在标准函数逼近器中由于非线性导致的贪婪动作选择与精确Q-learning的不可行性。
• 设计一种神经网络架构，实现无需采样的高效且精确的贪婪与Softmax动作计算。
• 通过一种可处理的、非蒙特卡洛的方法，实现大规模离散动作域中函数逼近的离策略Q-learning。

提出的方法

• 提出一种Q-network架构，其中动作价值函数建模为 $ Q_{\theta}(s,a) = \Psi_{\theta}(s) + a^\top \phi_{\theta}(s) $，关于二值动作向量 $ a $ 为线性函数。
• 使用多层感知机（MLP）计算 $ \Psi_{\theta}(s) $ 和 $ \phi_{\theta}(s) $，后者为与状态相关的向量。
• 通过计算 $ \arg\max_a Q_{\theta}(s,a) = \arg\max_i \phi^i_{\theta}(s) $ 实现高效的贪婪动作选择，避免对所有动作进行完整枚举。
• 通过相同的线性结构支持Softmax动作选择，从而支持可微分策略优化。
• 使用标准Q-learning时序差分误差进行随机梯度下降以更新网络参数：$ \Delta\theta = (r + \gamma \max_{\hat{a}} Q_{\theta}(s^\prime,\hat{a}) - Q_{\theta}(s,a)) \frac{\partial Q_{\theta}(s,a)}{\partial\theta} $。
• 在在线Q-learning算法中使用该架构，无需Gibbs采样或其他近似方法。

实验结果

研究问题

• RQ1 线性动作函数逼近是否能在大规模离散动作空间中实现二值向量动作的高效且精确的贪婪动作选择？
• RQ2 能否设计一种Q-network架构，支持无需蒙特卡洛采样的贪婪与Softmax动作选择？
• RQ3 该架构是否能有效应用于大规模离散动作空间的离策略Q-learning，避免难以处理的优化步骤？
• RQ4 在大规模动作空间环境中，该方法在样本效率和收敛性方面与标准Q-learning和基于能量的模型相比如何？

主要发现

• 所提出的架构通过 $ \arg\max_i \phi^i_{\theta}(s) $ 实现精确的贪婪动作选择，避免了枚举所有二值动作的指数级开销。
• 该方法通过相同的线性结构支持高效的Softmax动作选择，从而实现可微分策略学习。
• 在网格世界环境中，智能体通过所提出的Q-network实现了稳定学习，并达到了接近最优的性能。
• 在包含64个离散动作（12位二值动作）的阻塞器任务中，智能体学会了协调并获得得分，其中基于智能体的 $ \epsilon $-贪婪探索优于标准 $ \epsilon $-贪婪策略。
• 基于智能体的 $ \epsilon $-贪婪策略有助于逃离局部最优，显示出在多智能体协调中的更强鲁棒性。
• 实证结果证实，该方法可在无需蒙特卡洛近似的情况下，实现大规模离散动作空间中可处理的离策略Q-learning。