[论文解读] Neuronal Synchrony in Complex-Valued Deep Networks

David Reichert, T. Serre|arXiv (Cornell University)|Dec 20, 2013

Neural dynamics and brain function参考文献 57被引用 43

一句话总结

本文提出了一种复值深度网络框架，通过编码神经元放电率和动作电位相位来建模神经元同步性，实现分布式物体表征的动态绑定与信息门控。该方法在无监督表征学习中展现出功能优势，尤其在跨非连续输入绑定多个物体并基于相位解码表征方面优于局部表征。

ABSTRACT

Deep learning has recently led to great successes in tasks such as image recognition (e.g Krizhevsky et al., 2012). However, deep networks are still outmatched by the power and versatility of the brain, perhaps in part due to the richer neuronal computations available to cortical circuits. The challenge is to identify which neuronal mechanisms are relevant, and to find suitable abstractions to model them. Here, we show how aspects of spike timing, long hypothesized to play a crucial role in cortical information processing, could be incorporated into deep networks to build richer, versatile representations. We introduce a neural network formulation based on complex-valued neuronal units that is not only biologically meaningful but also amenable to a variety of deep learning frameworks. Here, units are attributed both a firing rate and a phase, the latter indicating properties of spike timing. We show how this formulation qualitatively captures several aspects thought to be related to neuronal synchrony, including gating of information processing and dynamic binding of distributed object representations. Focusing on the latter, we demonstrate the potential of the approach in several simple experiments. Thus, neuronal synchrony could be a flexible mechanism that fulfills multiple functional roles in deep networks.

研究动机与目标

• 探究神经元同步性——特别是动作电位时序——是否可被有意义地整合进深度学习架构以改善表征学习。
• 开发一种生物上合理但计算上可行的框架，通过在复值单元中编码放电率和相位，扩展标准深度网络。
• 证明基于相位的同步性可实现分布式特征的动态绑定，即使物体在输入空间中非连续。
• 探究同步性如何作为信息流在深度网络中的门控机制。
• 证明该框架支持在多个物体上进行无监督学习，生成丰富且结构化的表征，超越固定的小规模数据集。

提出的方法

• 使用复值神经元单元，每个单元的输出为一个复数，其模长（放电率）和相位（相对于其他神经元的动作电位时序）分别表示放电强度和时间关系。
• 采用基于相位的激活函数，编码相对动作电位时序，实现在无需显式脉冲动力学的情况下实现同步效应。
• 应用混合更新规则：模长由输入的非线性函数（如Sigmoid）决定，而相位则设定为总突触后输入的幅角。
• 采用两种推理过程：模长的随机采样与模长的确定性赋值，两者均基于输入相位推导出相位。
• 将深度玻尔兹曼机（DBMs）用于预训练，随后使用复值单元进行微调，以引入同步性机制。
• 通过在MNIST和合成条纹图案上的实验验证方法，分析基于相位的解码与物体绑定性能。

实验结果

研究问题

• RQ1 在深度网络中，基于相位编码的神经元同步性是否能支持代表不同物体的分布式特征的动态绑定？
• RQ2 与仅基于放电率的模型相比，通过相位编码引入动作电位时序如何提升信息处理能力？
• RQ3 该网络能否泛化至多个非连续物体的绑定，包括整体-部分关系？
• RQ4 隐藏单元的相位是否携带关于物体身份的有意义信息，从而实现从分布式表征中解码？
• RQ5 当在MNIST等多样化数据集与固定的小规模图案集上进行训练时，网络行为如何变化？

主要发现

• 复值网络成功在单个输入中绑定多个非连续物体，证明相位同步可实现分布式特征的协同表征。
• 基于相位的隐藏表征解码达到高准确率，表明物体身份可从相对相位模式中推断。
• 该网络泛化能力超越固定小规模数据集：它能从数千张MNIST图像中学习绑定多个物体，而此前工作受限于有限的训练集。
• 该模型同时支持动态绑定与信息门控，相位可调节单元间的有效连接性。
• 相位分配在迭代过程中保持稳定，且网络对绝对相位不变，证实仅相对时序具有意义。
• 该框架实现了从实值预训练到复值推理的成功迁移，表明其与标准深度学习流程兼容。