[论文解读] Strategy and Benchmark for Converting Deep Q-Networks to Event-Driven Spiking Neural Networks

Weihao Tan, Devdhar Patel+1 more|arXiv (Cornell University)|Sep 30, 2020

Advanced Memory and Neural Computing参考文献 31被引用 6

一句话总结

该论文提出了一种稳健的方法，将深度Q网络（DQNs）转换为用于强化学习的事件驱动脉冲神经网络（SNNs），采用基于仿真结束时刻膜电位的改进脉冲频率近似方法。该方法在17款Atari游戏中实现了最先进性能，SNN智能体在除两款游戏外的所有游戏中均匹配DQN性能，证明了在神经形态硬件上实现能效高效的强化学习的可行性。

ABSTRACT

Spiking neural networks (SNNs) have great potential for energy-efficient implementation of Deep Neural Networks (DNNs) on dedicated neuromorphic hardware. Recent studies demonstrated competitive performance of SNNs compared with DNNs on image classification tasks, including CIFAR-10 and ImageNet data. The present work focuses on using SNNs in combination with deep reinforcement learning in ATARI games, which involves additional complexity as compared to image classification. We review the theory of converting DNNs to SNNs and extending the conversion to Deep Q-Networks (DQNs). We propose a robust representation of the firing rate to reduce the error during the conversion process. In addition, we introduce a new metric to evaluate the conversion process by comparing the decisions made by the DQN and SNN, respectively. We also analyze how the simulation time and parameter normalization influence the performance of converted SNNs. We achieve competitive scores on 17 top-performing Atari games. To the best of our knowledge, our work is the first to achieve state-of-the-art performance on multiple Atari games with SNNs. Our work serves as a benchmark for the conversion of DQNs to SNNs and paves the way for further research on solving reinforcement learning tasks with SNNs.

研究动机与目标

• 在神经形态硬件上实现能效高效的深度强化学习，使用脉冲神经网络（SNNs）。
• 解决将DQNs转换为SNNs的挑战，其中Q值近似中的微小误差会因动作价值的相似性而显著降低性能。
• 通过改进脉冲频率近似方法，减少膜电位残余效应带来的误差，从而提高转换精度。
• 为DQN到SNN的转换在强化学习中建立基准，特别是在Atari游戏等复杂环境中的应用。
• 评估仿真时间与百分位数参数归一化对SNN性能的影响。

提出的方法

• 提出一种新型脉冲频率近似方法，利用仿真结束时刻的膜电位，相比先前的模拟激活映射方法，显著提升了精度。
• 引入基于百分位数的参数归一化技术，以缩放权重和阈值，优化事件驱动动态下的SNN行为。
• 采用转换流水线，将预训练的DQN权重直接映射为等效SNN，无需微调，保留网络架构与连接结构。
• 在所有Atari游戏中使用固定的500个时间步长仿真时间，以确保SNN推理的一致性评估。
• 对每款游戏使用50个随机种子进行t检验，比较DQN与SNN性能，评估结果的统计显著性。
• 在四款代表性游戏中通过实证分析优化超参数（仿真时间与百分位数），再进行大规模评估。

实验结果

研究问题

• RQ1 深度Q网络能否在保持强化学习任务性能的前提下成功转换为脉冲神经网络？
• RQ2 仿真时间的选择如何影响转换后SNN的性能与转换精度？
• RQ3 DQN到SNN转换过程中，参数归一化的最优百分位数是多少，且其在不同Atari游戏中如何变化？
• RQ4 所提出的脉冲频率近似方法在误差降低与性能稳定性方面，相较于先前方法有何优势？
• RQ5 SNN在从DQNs转换后，能在多大程度上实现Atari游戏的人类水平性能？

主要发现

• 所提方法在18款Atari游戏中的17款上实现了具有竞争力的性能，其中在15款游戏中SNN得分与DQN得分无统计学差异（p > 0.05）。
• 在14款游戏中，SNN性能达到DQN得分的95%以上，Gopher游戏中最高达到DQN得分的94.6%。
• 归一化最优百分位数因游戏而异：Star Gunner与Video Pinball的最佳值为99.9，而Breakout与James Bond则需更高百分位数（如99.99）以提升性能。
• 仿真时间呈现收益递减效应：更长的仿真时间可提升转换率与性能，尤其对Star Gunner与Video Pinball等敏感游戏效果显著。
• 新型脉冲频率近似方法相比先前方法显著降低了转换误差，尤其在动作间Q值差异较小时表现更优。
• 该方法在多个Atari游戏中实现了SNN的最先进性能，标志着在SNN中实现深度强化学习的首次成功。