[论文解读] The least-control principle for local learning at equilibrium

Alexander Meulemans, Nicolas Zucchet+3 more|arXiv (Cornell University)|Jul 4, 2022

Functional Brain Connectivity Studies被引用 15

一句话总结

本文提出了最小控制原理（LCP），这是一种适用于平衡系统（如循环神经网络和深度平衡网络）的生物可解释性、局部化且基于梯度的学习规则。通过将学习问题建模为最小化达到平衡状态所需控制量的问题，LCP 实现了高效、无内存的训练，具备活动依赖的信用分配机制，在前馈、循环和元学习任务中性能可与最先进梯度方法相媲美。

ABSTRACT

Equilibrium systems are a powerful way to express neural computations. As special cases, they include models of great current interest in both neuroscience and machine learning, such as deep neural networks, equilibrium recurrent neural networks, deep equilibrium models, or meta-learning. Here, we present a new principle for learning such systems with a temporally- and spatially-local rule. Our principle casts learning as a least-control problem, where we first introduce an optimal controller to lead the system towards a solution state, and then define learning as reducing the amount of control needed to reach such a state. We show that incorporating learning signals within a dynamics as an optimal control enables transmitting activity-dependent credit assignment information, avoids storing intermediate states in memory, and does not rely on infinitesimal learning signals. In practice, our principle leads to strong performance matching that of leading gradient-based learning methods when applied to an array of problems involving recurrent neural networks and meta-learning. Our results shed light on how the brain might learn and offer new ways of approaching a broad class of machine learning problems.

研究动机与目标

• 为循环神经网络和平衡神经网络开发生物可解释性、局部化学习规则所面临的挑战。
• 克服反向传播在循环系统中的局限性，包括非局部性以及对存储中间状态的依赖。
• 在统一的控制理论框架下，将深度平衡模型和元学习等平衡系统的学习统一起来。
• 在不依赖无穷小学习信号的前提下，实现基于活动的、时空局部化的信用分配。

提出的方法

• 将学习重新表述为最小控制最优控制问题，目标是最小化达到损失最小化平衡状态所需的控制输入。
• 引入一个辅助控制器，通过反馈控制将系统引导至低控制量的平衡状态，学习被定义为减少该所需控制量。
• 从最小控制问题的最优性条件推导出局部化、基于梯度的学习规则，确保所有必要信息在平衡状态下均可本地获取。
• 将该原理应用于多种架构，包括全连接、卷积、循环和深度平衡网络，以及元学习设置。
• 采用离散化动力学公式以实现实际应用，更新规则由控制目标的梯度推导得出。
• 在极限情况下证明其与已知方法（如平衡传播、对比元学习）的等价性，同时提供统一的理论基础。

实验结果

研究问题

• RQ1 能否在不存储中间状态的前提下，为平衡系统推导出一种局部化、生物可解释的学习规则？
• RQ2 如何在不依赖非局部反向传播的前提下，将信用分配嵌入网络活动之中？
• RQ3 在平衡系统中，最小控制目标与原始损失函数之间存在何种关系？
• RQ4 最小控制原理是否能在循环网络和元学习设置中实现与基于梯度方法相当的性能？
• RQ5 该原理在不同架构（包括深度平衡模型和循环网络）上的泛化能力如何？

主要发现

• 最小控制原理实现了在平衡系统中无需存储中间状态或依赖无穷小信号的梯度追踪、局部化且基于活动的训练。
• LCP 在前馈、循环和深度平衡网络上实现了与领先梯度方法相当的性能，包括在 20 类 1 次元学习 Omniglot 分类任务中的表现。
• 在 Omniglot 基准测试中，该方法在性能上匹配或超过 FOMAML 和 Reptile，实现 89.4% 的 20 类 1 次元学习准确率。
• 理论分析表明，在特定条件下，最小控制问题的解对应于原始损失函数的极小值或其界。
• 该框架统一了多种现有方法，如平衡传播和对比元学习，在统一的控制理论解释下实现整合。
• 离散化动力学公式实现了稳定高效的训练，仅需网络单次前向传播，避免了时间反向传播。