[论文解读] Structured and Deep Similarity Matching via Structured and Deep Hebbian Networks

Dina Obeid, Hugo Ramambason+1 more|arXiv (Cornell University)|Oct 10, 2019

Advanced Memory and Neural Computing被引用 6

一句话总结

该论文提出了一种结构化且深层的相似性匹配代价函数，用于在深度神经网络中实现无监督学习，其学习规则具有生物学上的合理性。该研究提出了一类结构化且深层的赫布型/反赫布型网络，利用局部突触可塑性——前馈与反馈连接采用赫布型学习，侧向连接采用反赫布型学习——以优化双重极小-极大目标，从而在无需反向传播的情况下实现高效的信用分配与分层特征学习。模拟结果表明，该方法在MNIST和LFW数据集上成功学习到了有意义的特征。

ABSTRACT

Synaptic plasticity is widely accepted to be the mechanism behind learning in the brain's neural networks. A central question is how synapses, with access to only local information about the network, can still organize collectively and perform circuit-wide learning in an efficient manner. In single-layered and all-to-all connected neural networks, local plasticity has been shown to implement gradient-based learning on a class of cost functions that contain a term that aligns the similarity of outputs to the similarity of inputs. Whether such cost functions exist for networks with other architectures is not known. In this paper, we introduce structured and deep similarity matching cost functions, and show how they can be optimized in a gradient-based manner by neural networks with local learning rules. These networks extend F\\"oldiak's Hebbian/Anti-Hebbian network to deep architectures and structured feedforward, lateral and feedback connections. Credit assignment problem is solved elegantly by a factorization of the dual learning objective to synapse specific local objectives. Simulations show that our networks learn meaningful features.

研究动机与目标

• 解决深度神经网络中基于生物上合理的局部学习规则的信用分配问题。
• 将Földiak的单层赫布型/反赫布型网络扩展至具有前馈、反馈和侧向连接的深层、结构化架构。
• 提出一种全网范围的网络学习目标——结构化且深层的相似性匹配——以支持分层特征提取与无监督表征学习。
• 证明该目标的梯度优化可通过局部突触可塑性规则实现，从而避免使用反向传播。
• 展示该网络在真实世界数据集（如MNIST和LFW）上可学习到有意义的、分层的特征。

提出的方法

• 提出一种新颖的代价函数——结构化且深层的相似性匹配——该函数将传统相似性匹配推广至包含空间结构与深度。
• 推导出该代价函数的双重极小-极大优化问题，并利用对偶理论将其分解为每个突触的局部目标。
• 设计一个多层神经网络，其中前馈与反馈连接采用赫布型可塑性，侧向连接采用反赫布型可塑性。
• 使用对偶变换确保每个突触的更新规则仅依赖于局部的突触前与突触后活动，从而实现生物上合理的学习。
• 采用局部学习规则：赫布型为 ΔW_ij = η(r_i^* x_j - W_ij)，反赫布型为 ΔL_ij = (η/2)(r_i^* r_j^* - L_ij)，局部动力学由递归方程控制。
• 将该框架应用于具有结构化连接（如空间邻近性）的局部连接网络，从而在深层架构中实现分层特征学习。

实验结果

研究问题

• RQ1 能否将相似性匹配代价函数推广至具有局部学习规则的深层、结构化神经网络？
• RQ2 能否仅通过局部突触可塑性在深层网络中实现信用分配，而无需反向传播？
• RQ3 结构化且深层的相似性匹配是否能在无监督设置下支持分层特征学习？
• RQ4 是否可能将全局双重目标分解为仅依赖于局部变量的局部突触目标？
• RQ5 使用这些规则训练的网络是否能在真实世界数据上学习到有意义且解耦的特征？

主要发现

• 在LFW数据集的可视化结果中，网络在第一层学习到多样且局部化的特征，并在更深的层中将这些特征组合为更大尺度的特征。
• 在MNIST数据集上，该网络在每个节点使用100个神经元时，测试分类误差为1.40%，与其它生物可实现网络相当（例如，[34]中为1.46%）。
• 结构化且深层的相似性匹配代价函数在训练过程中持续下降，表明学习目标被有效优化。
• 信用分配问题通过对偶性得到优雅解决：全局双重目标被分解为局部突触目标，从而实现仅依赖局部规则的梯度学习。
• 对称的反馈与侧向权重可通过局部可塑性渐近学习，为权重传输问题提供了生物上合理的解决方案。
• 该框架将Földiak的单层赫布型/反赫布型网络推广至具有结构化连接的深层架构，实现了分层表征学习。