[论文解读] Thalamus: a brain-inspired algorithm for biologically-plausible continual learning and disentangled representations

Ali Hummos|arXiv (Cornell University)|May 24, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

Thalamus 提出了一种受大脑启发的持续学习算法，通过推理时的优化动态生成特定于任务的潜在表征，实现解耦表征与情境化行为控制，且无需任务标签。通过交替进行权重更新与基于梯度的潜在变量更新，该方法在开放、无监督的设置下实现了鲁棒的持续学习，具备知识迁移能力并最小化灾难性遗忘。

ABSTRACT

Animals thrive in a constantly changing environment and leverage the temporal structure to learn well-factorized causal representations. In contrast, traditional neural networks suffer from forgetting in changing environments and many methods have been proposed to limit forgetting with different trade-offs. Inspired by the brain thalamocortical circuit, we introduce a simple algorithm that uses optimization at inference time to generate internal representations of the current task dynamically. The algorithm alternates between updating the model weights and a latent task embedding, allowing the agent to parse the stream of temporal experience into discrete events and organize learning about them. On a continual learning benchmark, it achieves competitive end average accuracy by mitigating forgetting, but importantly, by requiring the model to adapt through latent updates, it organizes knowledge into flexible structures with a cognitive interface to control them. Tasks later in the sequence can be solved through knowledge transfer as they become reachable within the well-factorized latent space. The algorithm meets many of the desiderata of an ideal continually learning agent in open-ended environments, and its simplicity suggests fundamental computations in circuits with abundant feedback control loops such as the thalamocortical circuits in the brain.

研究动机与目标

• 开发一种生物可解释的持续学习算法，模拟丘脑皮层回路在任务解析与认知灵活性中的作用。
• 在顺序、开放的环境中实现无监督的任务发现，无需任务标识符或预设的任务数量。
• 通过将表征组织为良好因子分解的、解耦的潜在空间，支持正向与反向知识迁移。
• 实现情境化行为控制，使相同输入在不同内部任务上下文下触发不同响应。
• 设计一种简单、可扩展的算法，无需独立的训练阶段，同时保持未来学习的可塑性。

提出的方法

• 该算法在标准反向传播用于模型权重更新与连续潜在空间中的梯度下降用于任务嵌入更新之间交替进行。
• 任务身份通过在推理时对潜在向量进行优化来推断，利用网络前向传播的梯度，实现对正在进行经验的动态标注。
• 潜在空间通过为每个任务初始化固定大小的嵌入向量，当现有嵌入无法解释新输入时，即发现新任务。
• 该方法使用单一网络，共享权重用于推理与潜在优化，无需单独的任务推理头或缓存。
• 潜在嵌入的梯度更新通过反向传播计算，使误差信号能够引导任务表征的形成。
• 该算法以端到端、无监督的方式运行，推理过程中无需显式任务边界或标签。

实验结果

研究问题

• RQ1 一种简单、生物可解释的算法能否在无任务标签或预设聚类数量的情况下，动态地将顺序经验解析为离散任务？
• RQ2 推理时对潜在表征的优化在持续学习中如何实现解耦且可迁移的知识？
• RQ3 此类系统在多大程度上能支持情境化行为控制，即相同输入根据内部任务上下文的不同而产生不同输出？
• RQ4 该算法在扩展到开放序列的连续任务时，能否保持可塑性并避免灾难性遗忘？
• RQ5 在潜在空间中使用梯度下降与替代方法相比，在泛化能力与知识迁移方面表现如何？

主要发现

• 该算法在持续学习基准上实现了具有竞争力的序列结束平均准确率，同时显著缓解了灾难性遗忘。
• 通过潜在变量更新，模型将知识组织为良好因子分解的、解耦的潜在空间，支持对后续与历史任务的灵活知识迁移。
• 该方法无需预先指定任务数量或聚类结构，即可在任意时间尺度上发现时间事件。
• 该算法实现了情境化行为控制，使相同输入可根据潜在向量编码的当前任务上下文产生不同响应。
• 模型通过潜在空间中的检索与适应，能够泛化到新任务，展示了正向与反向知识迁移能力。
• 该方法具备可扩展性，无需独立的训练阶段，适用于动态环境中开放、终身学习的场景。