[论文解读] The Neural Race Reduction: Dynamics of Abstraction in Gated Networks

Andrew Saxe, Shagun Sodhani+1 more|arXiv (Cornell University)|Jul 21, 2022

Neural Networks and Applications被引用 12

一句话总结

本文提出门控深度线性网络（GDLN），一种理论可处理的框架，通过门控机制建模深度网络中的信息流路径，实现非线性表征学习。该框架推导出学习动态的精确解，揭示了一种‘神经竞赛’动态，其隐式偏好共享表征，从而实现强大的零样本泛化——在仅训练MNIST和CIFAR数据集约25–40%路径的情况下，即可在未训练任务上达到接近训练性能的表现。

ABSTRACT

Our theoretical understanding of deep learning has not kept pace with its empirical success. While network architecture is known to be critical, we do not yet understand its effect on learned representations and network behavior, or how this architecture should reflect task structure.In this work, we begin to address this gap by introducing the Gated Deep Linear Network framework that schematizes how pathways of information flow impact learning dynamics within an architecture. Crucially, because of the gating, these networks can compute nonlinear functions of their input. We derive an exact reduction and, for certain cases, exact solutions to the dynamics of learning. Our analysis demonstrates that the learning dynamics in structured networks can be conceptualized as a neural race with an implicit bias towards shared representations, which then govern the model's ability to systematically generalize, multi-task, and transfer. We validate our key insights on naturalistic datasets and with relaxed assumptions. Taken together, our work gives rise to general hypotheses relating neural architecture to learning and provides a mathematical approach towards understanding the design of more complex architectures and the role of modularity and compositionality in solving real-world problems. The code and results are available at https://www.saxelab.org/gated-dln .

研究动机与目标

• 为填补神经网络架构如何影响表征学习与泛化这一理论理解上的空白。
• 建模深度网络中结构化信息流路径如何影响学习动态与泛化行为。
• 开发一种数学上可处理的框架，捕捉深度网络中的非线性动态，同时保持分析可访问性。
• 探究共享表征在通过架构设计实现多任务与迁移学习中的作用。
• 在放宽假设条件下，于自然数据集上验证理论洞见，展示稳健的零样本泛化能力。

提出的方法

• 引入门控深度线性网络（GDLN）框架，其中信息通过具有门控节点和边的有向架构图Γ流动。
• 使用节点门控（g_v）和边门控（g_q）调制激活传播，即使在权重矩阵为线性的情况下也能实现非线性函数。
• 推导特定GDLN配置下的学习动态的精确约化与解，实现对表征演化过程的分析研究。
• 将多任务与多模态学习建模为共享路径与任务特定路径的网络，其中输入/输出变换定义了不同任务。
• 采用模块化架构，包含共享编码器与解码器，每对输入/输出变换定义一个独立任务。
• 在部分任务路径上进行训练，并在未训练路径上评估零样本迁移性能，以评估泛化能力。

实验结果

研究问题

• RQ1 架构连通性——特别是共享路径的存在——在多大程度上塑造了深度网络中表征学习的动力学？
• RQ2 门控在实现原本线性深度网络中的非线性函数逼近中起到什么作用？
• RQ3 在结构化架构中，共享表征在多大程度上能够实现对未训练任务的零样本泛化？
• RQ4 训练路径比例如何影响未训练路径上的泛化性能？
• RQ5 权重初始化规模对GDLN中零样本迁移性能有何影响？

主要发现

• 当约25–40%的总路径被训练时，GDLN在未训练路径上实现了近乎完美的零样本泛化，表现出强大的可迁移性。
• 即使在使用非线性激活（leaky ReLU）的情况下，仅训练25%的路径，零样本迁移性能在MNIST和CIFAR数据集上仍可达到与训练性能相当的水平。
• 较小的初始化规模对零样本泛化至关重要，较大的初始化规模会降低未训练任务上的性能。
• GDLN中的学习动态最宜被概念化为一种‘神经竞赛’，其隐式偏好为共享表征，这构成了系统性泛化的基础。
• 在特定GDLN配置中推导出学习动态的精确解析解，使得对表征演化的精确研究成为可能。
• 该框架验证了架构设计——尤其是模块化与路径共享——直接决定了多任务与迁移学习能力。