[论文解读] Towards Biologically Plausible Convolutional Networks

Roman Pogodin, Yash Mehta+2 more|arXiv (Cornell University)|Jun 22, 2021

Neural dynamics and brain function参考文献 38被引用 9

一句话总结

本文通过局部连接网络中的侧向连接与赫布可塑性，提出一种动态权重重用机制，以实现生物上更合理的标准卷积网络替代方案。通过引入周期性的‘睡眠样’阶段，使神经元通过侧向连接实现权重重用，该方法在 ImageNet 上实现了接近卷积网络的性能（例如，top-1 准确率为 61.7%），同时改善了对腹侧流神经数据的拟合，从而支持卷积网络作为视觉处理生物合理模型的观点。

ABSTRACT

Convolutional networks are ubiquitous in deep learning. They are particularly useful for images, as they reduce the number of parameters, reduce training time, and increase accuracy. However, as a model of the brain they are seriously problematic, since they require weight sharing - something real neurons simply cannot do. Consequently, while neurons in the brain can be locally connected (one of the features of convolutional networks), they cannot be convolutional. Locally connected but non-convolutional networks, however, significantly underperform convolutional ones. This is troublesome for studies that use convolutional networks to explain activity in the visual system. Here we study plausible alternatives to weight sharing that aim at the same regularization principle, which is to make each neuron within a pool react similarly to identical inputs. The most natural way to do that is by showing the network multiple translations of the same image, akin to saccades in animal vision. However, this approach requires many translations, and doesn't remove the performance gap. We propose instead to add lateral connectivity to a locally connected network, and allow learning via Hebbian plasticity. This requires the network to pause occasionally for a sleep-like phase of "weight sharing". This method enables locally connected networks to achieve nearly convolutional performance on ImageNet and improves their fit to the ventral stream data, thus supporting convolutional networks as a model of the visual stream.

研究动机与目标

• 为解决标准卷积网络中权重重用的生物不现实性，因为真实神经元受局部学习约束而无法实现全局权重重用。
• 缩小生物上合理的局部连接网络与标准卷积网络在图像分类任务上的性能差距。
• 开发一种实现权重重用归纳偏置的机制，而无需依赖全局权重重用，从而实现生物合理性。
• 改善深度网络表征与腹侧流神经数据的拟合度，支持其作为视觉处理模型的适用性。
• 证明通过侧向连接实现的动态权重重用可近似卷积网络性能，同时与已知神经约束保持一致。

提出的方法

• 在局部连接网络的每一层中引入侧向连接，使神经元子群能够共享活动与权重。
• 在周期性的‘睡眠样’阶段采用赫布可塑性，使神经元子群的权重趋于相等，模拟一种动态权重重用形式。
• 使用抗赫布学习以稳定权重重用，确保收敛并防止发散。
• 每 n 个训练批次应用一次动态权重重用机制，使网络能周期性地在空间位置间重新对齐权重。
• 使用标准反向传播进行网络训练，而权重重用阶段则通过局部动力学独立运行。
• 在 CIFAR-10、CIFAR-100、TinyImageNet 和 ImageNet 上评估性能，采用不同超参数与权重重用频率。

实验结果

研究问题

• RQ1 局部连接网络是否能在不依赖全局权重重用的情况下，实现与卷积网络相当的性能？
• RQ2 通过侧向连接与赫布可塑性实现的动态权重重用是否能提升图像分类任务的性能？
• RQ3 该方法是否能通过 Brain-Score 测量，改善深度网络表征与腹侧流神经数据的拟合度？
• RQ4 与动态权重重用相比，通过图像平移实现的数据增强在缩小性能差距方面表现如何？
• RQ5 所提出的方法是否在近似权重重用归纳偏置的同时，保持了生物合理性？

主要发现

• 通过侧向连接实现的动态权重重用，使局部连接网络在 ImageNet 上达到 61.7% 的 top-1 准确率，仅比标准卷积网络（63.5%）低 1.8%。
• 该方法显著缩小了局部连接网络与卷积网络之间的性能差距，尤其当权重重用每 10 个批次执行一次时效果更明显。
• 在 CIFAR-10 和 CIFAR-100 上，动态权重重用始终优于标准局部连接网络与多平移数据增强方法。
• 该方法改善了与腹侧流数据的拟合度，Brain-Score 测量结果支持其作为视觉处理生物合理模型的适用性。
• 使用每张图像 16 次平移的数据增强无法完全缩小性能差距，且需要大量数据，仍逊于动态权重重用方法。
• 该方法在保持生物合理性的同时，实现了接近卷积网络的性能，其基础为局部学习规则与侧向连接。