[论文解读] Towards Biologically Plausible Deep Learning

Yoshua Bengio, Dong-Hyun Lee+3 more|arXiv (Cornell University)|Feb 14, 2015

Neural dynamics and brain function参考文献 37被引用 296

一句话总结

该论文通过将脉冲时间依赖可塑性（STDP）解释为变分目标上的随机梯度下降，提出了一种生物上合理的深度神经网络学习框架，实现了无需反向传播的信用分配。研究表明，通过神经动力学的近似推断与去噪自编码器训练，可以替代反向传播，同时实现具有竞争力的生成建模性能。

ABSTRACT

Neuroscientists have long criticised deep learning algorithms as incompatible with current knowledge of neurobiology. We explore more biologically plausible versions of deep representation learning, focusing here mostly on unsupervised learning but developing a learning mechanism that could account for supervised, unsupervised and reinforcement learning. The starting point is that the basic learning rule believed to govern synaptic weight updates (Spike-Timing-Dependent Plasticity) arises out of a simple update rule that makes a lot of sense from a machine learning point of view and can be interpreted as gradient descent on some objective function so long as the neuronal dynamics push firing rates towards better values of the objective function (be it supervised, unsupervised, or reward-driven). The second main idea is that this corresponds to a form of the variational EM algorithm, i.e., with approximate rather than exact posteriors, implemented by neural dynamics. Another contribution of this paper is that the gradients required for updating the hidden states in the above variational interpretation can be estimated using an approximation that only requires propagating activations forward and backward, with pairs of layers learning to form a denoising auto-encoder. Finally, we extend the theory about the probabilistic interpretation of auto-encoders to justify improved sampling schemes based on the generative interpretation of denoising auto-encoders, and we validate all these ideas on generative learning tasks.

研究动机与目标

• 为解决深度学习中反向传播的生物不现实性，特别是其对对称权重和精确误差信号传播的依赖。
• 为STDP提供一种机器学习解释，以支持在深层网络中实现高效的信用分配。
• 基于神经动力学与变分推断，统一监督学习、无监督学习与强化学习。
• 证明通过前向与后向激活传播训练的去噪自编码器可近似梯度更新，而无需反向传播。
• 在生成建模任务上验证该方法，通过迭代推断展示更高的似然度与更优的样本质量。

提出的方法

• 将STDP解释为在变分目标函数上的随机梯度下降，其中反馈信号调节神经元放电率，使其与梯度方向对齐。
• 将神经动力学建模为概率图模型中的近似推断，通过更新隐变量以最大化观测数据与隐变量的联合似然。
• 采用去噪自编码器结构，成对的网络层学习重建被破坏的输入，通过前向与后向传播实现梯度估计，而无需权重共享。
• 在变分期望最大化框架中使用近似后验分布，其中E步由神经动力学实现，M步通过基于STDP的权重更新完成。
• 引入一种改进的推断过程，通过迭代最大化给定隐状态下的可见输入似然，填补缺失输入。
• 在推断过程中引入噪声，以近似MCMC采样，从而提升采样质量，超越标准变分推断。

实验结果

研究问题

• RQ1 STDP能否被解释为一种支持深层网络信用分配的随机梯度下降形式？
• RQ2 如何利用神经动力学在无需精确MCMC采样的情况下实现概率模型中的近似推断？
• RQ3 通过前向与后向传播训练的去噪自编码器能否替代深层学习中的反向传播？
• RQ4 基于噪声注入的变分期望最大化迭代推断是否能提升生成模型的质量？
• RQ5 该框架能否通过单一生物合理机制统一监督学习、无监督学习与强化学习？

主要发现

• STDP可被解释为在变分目标上的随机梯度下降，为深层网络中的信用分配提供了生物合理的机制。
• 推动放电率向更优目标值演化的神经动力学对应于概率模型中的近似推断，避免了对精确MCMC采样的依赖。
• 所提方法在生成学习任务中实现了具有竞争力的性能，相比标准变分推断，联合似然度与样本质量均有提升。
• 利用模型自身动力学进行的迭代推断可有效实现缺失数据填补，如在被破坏输入的重建中所展示。
• 通过前向与后向激活传播训练的去噪自编码器可近似梯度更新，而无需对称权重或误差反向传播。
• 推断过程中引入噪声可提升采样质量，表明该框架为实现类似MCMC的推断提供了可行路径。