[论文解读] Unsupervised Regenerative Learning of Hierarchical Features in Spiking Deep Networks for Object Recognition

Priyadarshini Panda, Kaushik Roy|arXiv (Cornell University)|Feb 3, 2016

Advanced Memory and Neural Computing参考文献 23被引用 4

一句话总结

本文提出了一种用于脉冲深度网络的无监督再生学习框架，利用脉冲时间与固有延迟，通过自编码器-解码器原理逐层训练分层特征。该方法在 MNIST 和 CIFAR-10 上分别实现了 0.92% 和 29.84% 的分类误差，稀疏的事件编码表示实现了高效的计算。

ABSTRACT

We present a spike-based unsupervised regenerative learning scheme to train Spiking Deep Networks (SpikeCNN) for object recognition problems using biologically realistic leaky integrate-and-fire neurons. The training methodology is based on the Auto-Encoder learning model wherein the hierarchical network is trained layer wise using the encoder-decoder principle. Regenerative learning uses spike-timing information and inherent latencies to update the weights and learn representative levels for each convolutional layer in an unsupervised manner. The features learnt from the final layer in the hierarchy are then fed to an output layer. The output layer is trained with supervision by showing a fraction of the labeled training dataset and performs the overall classification of the input. Our proposed methodology yields 0.92%/29.84% classification error on MNIST/CIFAR10 datasets which is comparable with state-of-the-art results. The proposed methodology also introduces sparsity in the hierarchical feature representations on account of event-based coding resulting in computationally efficient learning.

研究动机与目标

• 开发一种生物上合理的无监督学习方法，用于脉冲神经网络，以捕捉目标识别中的分层特征。
• 通过深度脉冲网络中的事件编码，实现高效且稀疏的特征表示。
• 利用基于脉冲时间与神经元内在延迟的再生学习实现权重更新，无需反向传播。
• 将无监督预训练与少量有监督微调相结合，以提升分类准确率。
• 仅使用生物上合理的神经元，实现在标准基准数据集 MNIST 和 CIFAR-10 上具有竞争力的性能。

提出的方法

• 网络使用漏电积分-发放（LIF）神经元来模拟生物脉冲行为。
• 采用逐层自编码器-解码器训练方案，其中每个卷积层学习从编码特征中重建其输入。
• 再生学习基于脉冲时间与神经元固有延迟更新突触权重，实现无监督特征学习。
• 基于脉冲的编码方式在特征表示中引入稀疏性，降低计算负载。
• 最终的分层表示被输入至一个在少量标注数据上训练的有监督输出层。
• 该方法结合无监督预训练与最小量的有监督微调，实现分类任务。

实验结果

研究问题

• RQ1 脉冲时间与延迟是否可有效用于无监督训练深度脉冲网络？
• RQ2 在脉冲网络中，通过基于再生的自编码器-解码器框架，分层特征的学习效果如何？
• RQ3 事件编码与稀疏性在多大程度上提升了深度脉冲网络中的计算效率？
• RQ4 在无监督预训练后，仅使用少量标注数据，MNIST 和 CIFAR-10 上可达到的分类准确率是多少？
• RQ5 该生物启发方法在标准基准上的性能与最先进深度学习模型相比如何？

主要发现

• 所提出方法在 MNIST 数据集上实现了 0.92% 的分类误差，接近最先进性能。
• 在 CIFAR-10 数据集上，该方法达到 29.84% 的分类误差，展示了在极少监督下的强大泛化能力。
• 由于事件编码的脉冲表示，网络学习到稀疏且分层的表示，从而提升了计算效率。
• 基于脉冲时间与延迟的再生学习机制，实现了无需反向传播的有效无监督权重更新。
• 无监督预训练与小样本有监督微调的结合，实现了高准确率且标注成本极低。
• 该模型表明，生物上合理的学习机制可在标准目标识别任务中实现具有竞争力的性能。