[论文解读] Porting HTM Models to the Heidelberg Neuromorphic Computing Platform

Sebastian Billaudelle, Subutai Ahmad|arXiv (Cornell University)|May 8, 2015

Advanced Memory and Neural Computing参考文献 8被引用 13

一句话总结

本论文首次将层次化时间记忆（HTM）模型——特别是空间池化和时间记忆——移植到海德堡神经形态计算平台（HMF）上，采用基于AdEx动力学的脉冲神经元模型。研究结果表明，核心HTM功能在神经形态硬件仿真中得以保留，但由于标准突触时间依赖可塑性（STDP）的限制，完整可塑性规则的实现仍具挑战性。

ABSTRACT

Hierarchical Temporal Memory (HTM) is a computational theory of machine intelligence based on a detailed study of the neocortex. The Heidelberg Neuromorphic Computing Platform, developed as part of the Human Brain Project (HBP), is a mixed-signal (analog and digital) large-scale platform for modeling networks of spiking neurons. In this paper we present the first effort in porting HTM networks to this platform. We describe a framework for simulating key HTM operations using spiking network models. We then describe specific spatial pooling and temporal memory implementations, as well as simulations demonstrating that the fundamental properties are maintained. We discuss issues in implementing the full set of plasticity rules using Spike-Timing Dependent Plasticity (STDP), and rough place and route calculations. Although further work is required, our initial studies indicate that it should be possible to run large-scale HTM networks (including plasticity rules) efficiently on the Heidelberg platform. More generally the exercise of porting high level HTM algorithms to biophysical neuron models promises to be a fruitful area of investigation for future studies.

研究动机与目标

• 在海德堡神经形态计算平台（HMF）上，使用生物启发的脉冲神经元模型，实现并验证关键HTM算法——空间池化与时间记忆。
• 评估将大规模HTM网络映射至HMF混合信号神经形态硬件的可行性，考虑连接性、路由与资源约束。
• 研究利用平台原生突触时间依赖可塑性（STDP）机制实现HTM完整学习规则的挑战。
• 评估硬件引起的变异（如晶体管失配）对网络鲁棒性的影响，并探索校准与容错策略。

提出的方法

• 开发了一个框架，利用HMF平台上动态仿真中的整合-放电AdEx神经元模拟HTM操作。
• 将空间池化器与时间记忆实现为脉冲神经网络模型，柱状活动保持在约2%的稀疏性，且柱状爆发行为得以保留。
• 采用混合信号架构：模拟神经元电路用于计算，数字互连用于通信，利用HICANN晶圆级芯片。
• 使用PPU（处理与编程单元）微处理器实现自定义可塑性规则，因标准STDP无法复现HTM学习规则。
• 通过随机参数的蒙特卡洛仿真，测试对硬件变异和工艺失配的鲁棒性。
• 进行映射与路由分析，将网络模型投影至HMF晶圆拓扑，估算最多1024个柱的网络的突触损失与可扩展性。

实验结果

研究问题

• RQ1 能否在HMF平台上使用脉冲神经元模型准确模拟核心HTM功能——空间池化与时间记忆？
• RQ2 HMF原生STDP机制在多大程度上能复现HTM的学习规则，特别是远端树突连接与预测状态转换方面？
• RQ3 在突触连接性、神经元数量与晶圆级路由方面，映射大规模HTM网络存在哪些硬件限制？
• RQ4 模拟的HTM网络对硬件引起的变异（如晶体管失配与工艺波动）具有多强的鲁棒性？
• RQ5 PPU在扩展HMF可塑性能力以支持HTM特定学习算法方面发挥何种作用？

主要发现

• 空间池化器与时间记忆功能通过AdEx脉冲神经元模型成功模拟，关键特性如稀疏柱状活动（约2%稀疏性）、柱状爆发与预测状态转换得以保留。
• 仿真表明，HMF可支持一个最小可用的HTM网络（1024个柱，每柱8个细胞），覆盖约六个晶圆，包含约100万个树突膜电路与每细胞约32,000个传入连接。
• 在假设潜在池为100%的前提下，时间记忆网络可完整映射至单个晶圆，即使具备全连接侧向连接，也无突触损失。
• 标准STDP无法复现HTM的完整可塑性规则，因此必须通过PPU微处理器实现自定义实现以准确映射学习规则。
• 通过随机参数的蒙特卡洛仿真进行鲁棒性测试，结果确认网络模型能容忍空间与试验间变异，支持在模拟神经形态基底上的可靠性。
• 平台未来对多 compartment 神经元的支持有望提升与HTM生物物理树突模型的保真度，实现与原始HTM白皮书更紧密的对齐。