[论文解读] Reservoir Transformer

Sheng Shen, Alexei Baevski+4 more|arXiv (Cornell University)|Dec 30, 2020

Neural Networks and Reservoir Computing被引用 4

一句话总结

该论文提出Reservoir Transformer，一种混合架构，用随机初始化、不可训练的非线性储水库层替代部分标准Transformer层。该设计通过利用储水库计算原理（不更新储水库权重），在不更新权重的情况下加速训练收敛，并提升机器翻译和掩码语言建模任务的性能。

ABSTRACT

We demonstrate that transformers obtain impressive performance even when some of the layers are randomly initialized and never updated. Inspired by old and well-established ideas in machine learning, we explore a variety of non-linear reservoir layers interspersed with regular transformer layers, and show improvements in wall-clock compute time until convergence, as well as overall performance, on various machine translation and (masked) language modelling tasks.

研究动机与目标

• 探究随机初始化、不更新的层是否能提升Transformer性能。
• 探索将储水库计算概念整合到Transformer架构中的方法。
• 在保持或提升模型准确率的同时，减少实际训练时间。
• 评估非线性储水库层在序列建模任务中的有效性。
• 评估在机器翻译和掩码语言建模基准上的性能提升。

提出的方法

• 该模型将选定的Transformer层替换为随机初始化且训练期间固定的非线性储水库层。
• 储水库层对输入表示应用随机、不可训练的非线性变换。
• 架构在标准自注意力层与储水库层之间交替，以保持表征能力。
• 储水库层被设计为在无梯度更新的情况下保留时间动态和信息流。
• 该方法在标准的机器翻译和掩码语言建模基准上进行评估。
• 训练过程仅对标准Transformer层使用标准反向传播，储水库权重保持冻结。

实验结果

研究问题

• RQ1 不可训练、随机初始化的储水库层能否提升Transformer训练效率？
• RQ2 引入储水库层对收敛速度和最终性能有何影响？
• RQ3 储水库机制是否增强了序列建模任务中的表征学习？
• RQ4 储水库层在Transformer堆栈中的位置和频率有何影响？
• RQ5 储水库层能否在降低计算成本的同时保持或提升性能？

主要发现

• Reservoir Transformer在实际训练时间上相比标准Transformer实现了更快的收敛速度。
• 该模型在机器翻译和掩码语言建模任务上保持了具有竞争力的性能。
• 使用不可训练的储水库层减少了可训练参数数量和训练计算量。
• 该方法在不损失模型准确率的前提下，持续提升了训练速度。
• 储水库层在无梯度更新的情况下，有效保留并转换了表示。
• 该方法在多个NLP基准上表现有效，表明其具有广泛的适用性。