[论文解读] Neural Population Coding for Effective Temporal Classification

Zihan Pan, Jibin Wu+3 more|arXiv (Cornell University)|Sep 12, 2019

Neural dynamics and brain function参考文献 44被引用 7

一句话总结

本文研究了脉冲神经网络（SNNs）在时间模式分类中的神经编码方案，表明基于群体的神经编码——尤其是阈值编码与群体时延编码——可将时间信息投影到空间维度，从而实现线性可分性。使用SVM和SNN分类器，群体编码在TIDIGITS数据集上达到95%的准确率，在RWCP数据集上达到100%的准确率，表明有效的编码比复杂的学习算法更能简化分类任务。

ABSTRACT

Neural encoding plays an important role in faithfully describing the temporally rich patterns, whose instances include human speech and environmental sounds. For tasks that involve classifying such spatio-temporal patterns with the Spiking Neural Networks (SNNs), how these patterns are encoded directly influence the difficulty of the task. In this paper, we compare several existing temporal and population coding schemes and evaluate them on both speech (TIDIGITS) and sound (RWCP) datasets. We show that, with population neural codings, the encoded patterns are linearly separable using the Support Vector Machine (SVM). We note that the population neural codings effectively project the temporal information onto the spatial domain, thus improving linear separability in the spatial dimension, achieving an accuracy of 95\% and 100\% for TIDIGITS and RWCP datasets classified using the SVM, respectively. This observation suggests that an effective neural coding scheme greatly simplifies the classification problem such that a simple linear classifier would suffice. The above datasets are then classified using the Tempotron, an SNN-based classifier. SNN classification results agree with the SVM findings that population neural codings help to improve classification accuracy. Hence, other than the learning algorithm, effective neural encoding is just as important as an SNN designed to recognize spatio-temporal patterns. It is an often neglected but powerful abstraction that deserves further study.

研究动机与目标

• 评估不同的神经编码方案（单神经元与群体基础）对使用SNN进行时间模式分类的影响。
• 确定哪些编码方案能增强时空模式的线性可分性，以实现高效分类。
• 评估各种神经编码策略在语音与声音识别背景下的生物合理性与计算效率。
• 探究群体编码是否通过将时间动态投影到空间维度，从而降低学习的复杂性。
• 在不同编码方案下比较SVM与基于SNN的分类器性能，以隔离编码在学习算法设计中的作用。

提出的方法

• 采用五种神经编码方案：时延编码、相位编码、群体时延编码、群体相位编码和阈值编码，对TIDIGITS和RWCP数据集的语谱图进行编码。
• 应用两种向量化方法：(1) 每个神经元的时间平均脉冲率，(2) 完整的空间-时间脉冲模式表示。
• 使用多类支持向量机（SVM）评估编码模式的线性可分性。
• 在相同编码数据上训练基于Tempotron的SNN分类器，以在生物合理的学习框架下验证结果。
• 测量脉冲率与稀疏性，以评估编码效率及能量影响。
• 在孤立数字识别（TIDIGITS）和环境声音分类（RWCP）任务中评估性能。

实验结果

研究问题

• RQ1 哪种神经编码方案最能将时间信息投影到空间维度，以提升线性可分性？
• RQ2 在分类准确率与稀疏性方面，群体编码与单神经元编码相比表现如何？
• RQ3 当应用群体编码编码的模式时，简单的线性分类器（SVM）能否实现高准确率？
• RQ4 编码效率（脉冲率）在实现节能的类脑硬件实现中起什么作用？
• RQ5 群体编码在多大程度上能独立于学习算法，简化SNN的学习任务？

主要发现

• 群体神经编码，尤其是阈值编码与群体时延编码，可将时间模式投影到扩展的空间维度，从而实现线性可分性。
• 使用SVM时，群体编码在TIDIGITS数据集上达到95%的准确率，在RWCP数据集上达到100%的准确率，表明具有高度的线性可分性。
• 阈值编码实现了最低的平均脉冲率（每神经元12次脉冲/秒），表明编码效率高且可节省能量。
• 单神经元编码（时延与相位编码）未能保留足够的空间信息，导致线性可分性差，分类性能较低。
• 基于SNN的Tempotron分类器结果与SVM发现高度一致，证实群体编码能提升SNN的分类准确率，无论后端学习算法如何。
• 通过群体编码将时间动态投影到空间维度，是一种生物上合理的机制，能显著简化分类任务。