[论文解读] The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization

Róbert Csordás, Kazuki Irie+1 more|arXiv (Cornell University)|Oct 14, 2021

Neural Networks and Applications被引用 8

一句话总结

该论文提出了神经数据路由器（NDR），一种经过修改的Transformer架构，引入了复制门和几何注意力机制，以实现对系统泛化任务的自适应控制流。NDR在组合式表格查找任务上实现了100%的长度泛化准确率，在算术和ListOps任务上也达到了接近完美的性能表现，其注意力与门控模式具有可解释性，类似于直观的神经路由机制。

ABSTRACT

Despite progress across a broad range of applications, Transformers have limited success in systematic generalization. The situation is especially frustrating in the case of algorithmic tasks, where they often fail to find intuitive solutions that route relevant information to the right node/operation at the right time in the grid represented by Transformer columns. To facilitate the learning of useful control flow, we propose two modifications to the Transformer architecture, copy gate and geometric attention. Our novel Neural Data Router (NDR) achieves 100% length generalization accuracy on the classic compositional table lookup task, as well as near-perfect accuracy on the simple arithmetic task and a new variant of ListOps testing for generalization across computational depths. NDR's attention and gating patterns tend to be interpretable as an intuitive form of neural routing. Our code is public.

研究动机与目标

• 为解决标准Transformer在系统泛化方面持续存在的失败问题，尤其是在需要组合推理的算法任务中。
• 探究架构改进是否能够引导Transformer学习到具有自适应控制流的可解释、类似符号的解决方案。
• 通过将显式的路由机制嵌入Transformer架构，提升模型对更长序列和更深计算结构的泛化能力。
• 验证所提出模型中的注意力与门控模式是否反映出直观、人类可读的控制流。

提出的方法

• 引入复制门机制，使输入标记能够在各层之间被保留，支持选择性跳过变换，并在Transformer网格中实现垂直数据流。
• 提出几何注意力机制，通过偏向关注最近的相关标记而非所有可能匹配项，提升序列处理中的定位能力。
• 结合复制门与几何注意力，形成一种神经数据路由机制，根据数据依赖性自适应地序列化操作。
• 采用深层、权重共享的Transformer架构，以支持复杂的计算图，确保具备足够的深度以处理分层操作。
• 使用带有门控跳跃连接的残差连接，以在保持梯度流动的同时，实现对不同层输入的选择性处理。
• 在算法任务上进行端到端训练，目标包括长度泛化与深度泛化。

实验结果

研究问题

• RQ1 对Transformer进行架构修改是否能够实现在需要组合推理的算法任务上的系统泛化？
• RQ2 引入复制门与几何注意力是否能产生更具可解释性的注意力与门控模式，使其类似于直观的控制流？
• RQ3 该模型是否能在组合式表格查找任务上实现100%的泛化准确率，该任务长期以来对标准Transformer而言极具挑战？
• RQ4 在ListOps和算术等任务中，该模型在更长序列和更深计算树上的泛化能力达到何种程度？

主要发现

• 神经数据路由器（NDR）在组合式表格查找任务上实现了100%的泛化准确率，这一结果在现有文献中尚无先例。
• 在简单的算术任务中，NDR实现了接近完美的泛化准确率，表明其在不同序列长度下均具备强大的系统泛化能力。
• 在一项新设计的ListOps变体任务中（用于测试跨计算深度的组合泛化），NDR实现了接近完美的准确率，表明其能有效处理分层结构。
• 对NDR中注意力与门控模式的可视化显示，其呈现出可解释、人类可读的控制流：门控在所有操作数到达前保持关闭状态，注意力则以结构化、分层的方式聚焦于相关操作。
• NDR中的注意力与门控动态对应于一种合理的神经路由机制，操作以深度优先、依赖感知的顺序被处理。