[论文解读] Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems

Subhabrata Dutta, Tanya Gautam+2 more|arXiv (Cornell University)|Sep 30, 2021

Model Reduction and Neural Networks参考文献 37被引用 4

一句话总结

该论文提出 TransEvolve，一种新型 Transformer 重设计，通过使用常微分方程（ODE）求解器将自注意力和前馈层建模为相互作用粒子的时序演化。通过从初始条件参数化动力系统的时序演化，TransEvolve 将可训练参数减少 50%，训练速度提升 3 倍以上，在仅使用 10% 更少参数的情况下，于仅编码器任务上超越原始 Transformer，在编码器-解码器任务上与之持平。

ABSTRACT

The Transformer and its variants have been proven to be efficient sequence learners in many different domains. Despite their staggering success, a critical issue has been the enormous number of parameters that must be trained (ranging from $10^7$ to $10^{11}$) along with the quadratic complexity of dot-product attention. In this work, we investigate the problem of approximating the two central components of the Transformer -- multi-head self-attention and point-wise feed-forward transformation, with reduced parameter space and computational complexity. We build upon recent developments in analyzing deep neural networks as numerical solvers of ordinary differential equations. Taking advantage of an analogy between Transformer stages and the evolution of a dynamical system of multiple interacting particles, we formulate a temporal evolution scheme, TransEvolve, to bypass costly dot-product attention over multiple stacked layers. We perform exhaustive experiments with TransEvolve on well-known encoder-decoder as well as encoder-only tasks. We observe that the degree of approximation (or inversely, the degree of parameter reduction) has different effects on the performance, depending on the task. While in the encoder-decoder regime, TransEvolve delivers performances comparable to the original Transformer, in encoder-only tasks it consistently outperforms Transformer along with several subsequent variants.

研究动机与目标

• 为减少标准 Transformer 的高参数量和二次方计算复杂度，这些因素限制了其训练与部署。
• 通过将注意力层的独立处理建模为连续动力系统，解决其效率低下的问题。
• 开发一种参数高效、可训练的时间演化函数，避免在各层重复计算点积注意力。
• 评估动力系统视角是否能在序列建模中实现更好的泛化性与效率。
• 探索 ODE 基于的时序演化是否能在仅编码器和编码器-解码器设置中优于标准注意力机制。

提出的方法

• 将 Transformer 层形式化为多粒子动力系统，其中隐藏状态通过 ODE 在时间上演化。
• 使用从初始条件导出的时间依赖向量场来建模每个标记表示的演化，避免逐层计算注意力。
• 使用数值 ODE 求解器（如 Runge-Kutta）模拟表示在深度上的时序演化，通过可学习函数参数化 ODE 向量场。
• 引入一种深度感知的随机矩阵前馈机制，使参数在层间共享，同时通过演化编码深度信息。
• 构建统一框架 TransEvolve，用单一、参数化的 ODE 驱动演化方案替代标准多头注意力和前馈网络。
• 使用标准反向传播端到端训练模型，将 ODE 求解器作为可微层集成。

实验结果

研究问题

• RQ1 Transformer 层的序列处理能否被建模为相互作用粒子的连续动力系统？
• RQ2 从初始条件参数化表示的时间演化是否能在不损失性能的前提下减少模型参数量和训练时间？
• RQ3 基于 ODE 的演化方案是否能在仅编码器和编码器-解码器任务中均优于标准多头注意力？
• RQ4 表示的深度感知演化如何影响序列建模中的长距离依赖学习？
• RQ5 不同 ODE 近似方案和随机矩阵投影对模型效率与准确率有何影响？

主要发现

• 在所有仅编码器任务中，TransEvolve 均优于原始 Transformer，包括 ListOps 和字符级情感分类任务，且可训练参数减少 50%。
• 在 WMT 2014 英语到法语翻译任务中，TransEvolve 在使用 10% 更少参数的情况下，BLEU 分数较基础 Transformer 提升 1.4 分。
• 与标准 Transformer 相比，TransEvolve 的训练速度提升超过 3 倍，尤其在训练期间的多对一映射中受益显著。
• 随机矩阵前馈变体（TransEvolve-randomFF-1）在长序列任务（如 ListOps）中优于完整前馈版本，表明深度感知演化增强了长距离依赖建模能力。
• 在编码器-解码器任务中，TransEvolve 在 En-De 2013 和 En-Fr 2014 任务上达到或略微超过 Transformer 的性能，尽管不同数据集上的表现存在差异。
• 该模型的成功表明，在复杂任务中，底层 ODE 的扩散分量起主导作用，且不同序列学习问题中动力系统结构存在显著差异。