[论文解读] ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation

Bei Li, Quan Du+5 more|arXiv (Cornell University)|Apr 6, 2021

Natural Language Processing Techniques参考文献 43被引用 11

一句话总结

本文提出 ODE Transformer，一种受求解常微分方程（ODE）的高阶数值方法启发的新型神经机器翻译模型。通过用使用多个中间近似值的 Runge-Kutta 风格 ODE 模块替代标准残差块，该模型降低了截断误差并提升了性能，在参数量未增加的情况下，实现了 WMT'14 En-Fr 任务上的 44.11 BLEU 和 En-De 任务上的 30.76 BLEU 的最先进结果。

ABSTRACT

It has been found that residual networks are an Euler discretization of solutions to Ordinary Differential Equations (ODEs). In this paper, we explore a deeper relationship between Transformer and numerical methods of ODEs. We show that a residual block of layers in Transformer can be described as a higher-order solution to ODEs. This leads us to design a new architecture (call it ODE Transformer) analogous to the Runge-Kutta method that is well motivated in ODEs. As a natural extension to Transformer, ODE Transformer is easy to implement and parameter efficient. Our experiments on three WMT tasks demonstrate the genericity of this model, and large improvements in performance over several strong baselines. It achieves 30.76 and 44.11 BLEU scores on the WMT'14 En-De and En-Fr test data. This sets a new state-of-the-art on the WMT'14 En-Fr task.

研究动机与目标

• 解决由于残差块的一阶 Euler 离散化导致的深度 Transformer 模型中误差累积的问题。
• 探索 Transformer 架构与数值 ODE 求解器之间更深层次的数学关系。
• 通过用如 Runge-Kutta 等更高阶方法替代一阶 ODE 模块，提升模型性能与参数效率。
• 证明高阶 ODE 模块可在参数量等同的情况下，超越更深的单阶模块堆叠结构。
• 通过最小的架构修改，在 WMT'14 En-Fr 翻译任务上建立新的最先进水平。

提出的方法

• 将每个 Transformer 残差块重新表述为连续 ODE 系统，其中残差函数表示隐藏状态的导数。
• 用四阶 Runge-Kutta（RK4）方法替代一阶 Euler 离散化，以在单个模块内计算更高精度的中间状态。
• 在模块内的多个中间阶段（F₁ 至 F₄）中复用一组参数 θ(t)，确保参数效率。
• 引入可学习的中间近似系数（如 γᵢ），以进一步改善优化与性能。
• 将 ODE Transformer 模块作为即插即用的替代方案，应用于标准 Transformer 编码器与解码器中，无需整体架构重构。
• 采用连续时间公式，其中模块输出计算为 yₜ₊₁ = yₜ + (1/6)F₁ + (2/6)F₂ + (2/6)F₃ + (1/6)F₄，模拟 RK4 积分过程。

实验结果

研究问题

• RQ1 高阶 ODE 求解器（如 Runge-Kutta）能否提升基于 Transformer 的神经机器翻译模型性能？
• RQ2 将基于一阶 Euler 的残差模块替换为更高阶 ODE 模块，是否能降低截断误差并提升泛化能力？
• RQ3 在参数量相同的情况下，高阶 ODE 模块能否实现优于更深的单阶模块堆叠结构的性能？
• RQ4 ODE Transformer 架构是否具备参数效率，并可轻松集成到现有 Transformer 框架中？
• RQ5 在 ODE 模块中引入中间近似是否能改善优化过程并降低语言建模损失？

主要发现

• ODE Transformer 在 WMT'14 En-Fr 翻译任务上取得了 44.11 的新最先进 BLEU 分数，超越所有先前基线模型。
• 在 WMT'14 En-De 任务上，该模型实现了 30.76 的 BLEU 分数，表明其在不同语言对之间具有强大的泛化能力。
• RK4 模块变体在 PTB 数据集上（两层）将语言建模困惑度（PPL）降低至 119.46，优于标准两层残差块（136.07 PPL）。
• 即使采用二阶 Runge-Kutta（RK2）模块，其 PPL（121.02）也低于两层残差块，表明近似误差更小。
• ODE Transformer 在多个 WMT 任务中持续提升性能，涵盖宽型与深型 Transformer 配置。
• 该方法具有参数效率，因为它在单个模块内的中间阶段复用参数，无需引入额外参数。