[论文解读] Sparse Distributed Memory is a Continual Learner

Trenton Bricken, Xander Davies+3 more|arXiv (Cornell University)|Mar 20, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种受稀疏分布式记忆（SDM）启发的改进型多层感知机（SDMLP），在不使用记忆回放或任务边界的情况下，于CIFAR-10数据集上实现了持续学习的最先进性能。通过整合Top-K激活、L²归一化、非负权重以及无偏置训练，该模型形成了专门化的稀疏子网络，通过有机流形铺砌与民主化神经元参与，避免灾难性遗忘。

ABSTRACT

Continual learning is a problem for artificial neural networks that their biological counterparts are adept at solving. Building on work using Sparse Distributed Memory (SDM) to connect a core neural circuit with the powerful Transformer model, we create a modified Multi-Layered Perceptron (MLP) that is a strong continual learner. We find that every component of our MLP variant translated from biology is necessary for continual learning. Our solution is also free from any memory replay or task information, and introduces novel methods to train sparse networks that may be broadly applicable.

研究动机与目标

• 开发一种模仿生物神经网络的持续学习模型，无需依赖记忆回放或任务信息。
• 探究稀疏分布式记忆（SDM）的核心组件是否能在标准MLP架构中实现稳健的持续学习。
• 识别并解决在稀疏、持续学习模型中出现的结构性挑战，如神经元死亡和优化器停滞问题。
• 证明SDM衍生的架构约束组合能够引发涌现的流形铺砌与子网络专业化。
• 建立一种生物启发、内存高效的持续学习框架，在严格约束下超越现有方法。

提出的方法

• 采用Top-K（k-赢家通吃）激活函数，限制每输入仅激活最兴奋的k个神经元，促进子网络专业化。
• 对权重和输入数据强制执行L²归一化及非负性，将神经元约束在数据流形上，实现学习中的民主化参与。
• 消除偏置项以保持对称性，确保所有神经元对表征学习的贡献相等。
• 实施受GABA开关启发的初始化策略，在早期训练中通过暂时反转抑制效应，防止神经元死亡。
• 通过修改训练动态以防止旧动量更新非活跃神经元，解决稀疏网络中的优化器停滞问题。
• 将SDMLP与弹性权重整合（EWC）结合，进一步提升持续学习性能，且无需任务标签或记忆回放。

Figure 1: Graphical Summary of the SDM Write and Read Operations. Top Row - Three patterns being written into nearby neurons. 1. First write operation; 2. Patterns are stored inside neurons and the original pattern address is shown; 3. Writing a second pattern; 4. Writing a third pattern and neurons

实验结果

研究问题

• RQ1 基于稀疏分布式记忆（SDM）改进的MLP是否能在不使用记忆回放或任务边界的情况下实现强大的持续学习性能？
• RQ2 SDM架构中的哪些组件在持续学习设置中对防止灾难性遗忘至关重要？
• RQ3 Top-K激活与L²归一化如何协同作用，使SDMLP实现流形铺砌与子网络专业化？
• RQ4 在稀疏、持续学习模型中出现的结构性挑战（如神经元死亡与优化器停滞）是什么？如何通过生物启发机制解决？
• RQ5 在CIFAR-10的类增量持续学习设置下，SDMLP的性能在多大程度上超越现有方法？

主要发现

• 在不允许使用记忆回放的CIFAR-10类增量持续学习设置下，SDMLP实现了最先进性能，优于现有方法在相同约束下的表现。
• SDM中的每一项架构组件——Top-K激活、L²归一化、非负权重以及无偏置——都是防止灾难性遗忘所必需的；移除任一组件均会导致性能显著下降。
• 该模型形成了专门化的子网络，对数据流形实现铺砌，单个神经元可学习响应特定图像类别甚至特定样本，表现出类似“祖母细胞”的行为。
• 神经元激活模式显示，SDMLP在每个任务中仅激活一小部分动态变化的神经元，从而保留先前学习的知识；而ReLU-based模型则激活几乎所有神经元，增加遗忘风险。
• UMAP可视化结果证实，神经元权重与数据点在流形上空间对齐，神经元围绕特定类别及其最具激活性的样本聚集。
• 受GABA开关启发的初始化策略有效防止了由Top-K激活引发的神经元死亡；改进的优化器训练策略则解决了稀疏网络中的停滞问题，二者对维持持续性能至关重要。