[论文解读] Replay in Deep Learning: Current Approaches and Missing Biological Elements

Tyler L. Hayes, Giri P. Krishnan+4 more|arXiv (Cornell University)|Apr 1, 2021

Sleep and Wakefulness Research参考文献 265被引用 22

一句话总结

本文对哺乳动物大脑中的生物重现机制与人工神经网络中的重现机制进行了全面比较，识别出当前深度学习系统中缺失的关键生物特征，如部分重现、奖励调制和多区域协同。文章提出，将这些生物元素整合到人工重现机制中，可显著提升深度网络的持续学习能力、泛化能力与数据效率。

ABSTRACT

Replay is the reactivation of one or more neural patterns, which are similar to the activation patterns experienced during past waking experiences. Replay was first observed in biological neural networks during sleep, and it is now thought to play a critical role in memory formation, retrieval, and consolidation. Replay-like mechanisms have been incorporated into deep artificial neural networks that learn over time to avoid catastrophic forgetting of previous knowledge. Replay algorithms have been successfully used in a wide range of deep learning methods within supervised, unsupervised, and reinforcement learning paradigms. In this paper, we provide the first comprehensive comparison between replay in the mammalian brain and replay in artificial neural networks. We identify multiple aspects of biological replay that are missing in deep learning systems and hypothesize how they could be utilized to improve artificial neural networks.

研究动机与目标

• 识别并比较生物神经网络与人工神经网络中重现机制的核心机制。
• 突出当前人工深度学习实现中缺失的关键生物重现特征，如部分重现、奖励调制和多区域协同。
• 提出将这些生物机制整合到人工重现中，可提升持续学习、泛化能力与数据效率。
• 通过建议基于生物启发的改进方法，弥合神经科学与深度学习之间的差距。
• 鼓励在人工网络中整合正则化与重现机制，以模仿其在大脑中共同发生、相互促进的互动作用。

提出的方法

• 系统比较哺乳动物大脑（如海马体和新皮层）中的重现与人工神经网络中的重现，重点关注功能角色与实现细节。
• 对不同类型的人工重现进行分类与分析：真实重现（重现原始输入）、表征重现（重现高层次特征）和生成重现（重现合成输入）。
• 将生物重现机制（如基于内部表征的选择性重现、部分重现和奖励调制重现）映射到人工学习框架中。
• 提出人工网络应采用类似大脑的多层、分层重现机制，以实现在皮层区域间的垂直与水平整合。
• 建议在人工网络中整合正则化与重现机制，以模仿其在生物系统中相互依赖、相互增强的关系。
• 倡导采用奖励调制重现和基于记忆显著性或不确定性的选择性重现，以提升学习效率并减少遗忘。

实验结果

研究问题

• RQ1 哺乳动物大脑中的生物重现与当前人工神经网络中的重现机制之间存在哪些关键差异？
• RQ2 当前人工深度学习系统中缺失的生物重现特征有哪些？例如部分重现、奖励调制或多区域协同？
• RQ3 如何通过整合生物重现机制来改善人工神经网络在持续学习、泛化与数据效率方面的表现？
• RQ4 正则化与重现在生物系统中以何种方式相互作用？这种相互作用在人工网络中如何被模拟以提升性能？
• RQ5 在深度学习模型中实现基于生物启发的重现机制，其计算与架构影响是什么？

主要发现

• 哺乳动物大脑中的生物重现涉及在睡眠和清醒状态下对神经模式的再激活，支持记忆巩固并防止灾难性遗忘。
• 当前人工重现方法主要依赖真实重现（重现原始输入）或表征重现（重现高层次特征），但缺乏部分重现和奖励调制等关键生物特征。
• 本文指出，人工网络目前未实现基于内部表征显著性或记忆不确定性的选择性重现，而这些在生物系统中至关重要。
• 多区域重现——感觉皮层与联合皮层的同步再激活——在大脑中实现分层整合，但尚未在人工网络中实现。
• 大脑中的重现与正则化共同发生并相互影响，但在人工网络中，这些机制通常独立应用，限制了性能提升。
• 整合基于生物启发的重现机制（如奖励调制重现与部分重现）可显著提升持续学习场景下的泛化能力、抽象能力与数据效率。