[论文解读] Transformers with Competitive Ensembles of Independent Mechanisms

Alex Lamb, Di He+5 more|arXiv (Cornell University)|Feb 27, 2021

Reinforcement Learning in Robotics参考文献 51被引用 8

一句话总结

本文提出了一种新型Transformer架构——独立机制Transformer（TIM），该架构将隐藏表征和参数拆分为多个专业化机制，仅通过注意力机制进行通信。通过引入竞争机制以促进专业化，TIM在自然语言处理、视觉和语音任务中均提升了泛化能力和性能，在CATER目标追踪和BERT微调任务中取得了显著提升。

ABSTRACT

An important development in deep learning from the earliest MLPs has been a move towards architectures with structural inductive biases which enable the model to keep distinct sources of information and routes of processing well-separated. This structure is linked to the notion of independent mechanisms from the causality literature, in which a mechanism is able to retain the same processing as irrelevant aspects of the world are changed. For example, convnets enable separation over positions, while attention-based architectures (especially Transformers) learn which combination of positions to process dynamically. In this work we explore a way in which the Transformer architecture is deficient: it represents each position with a large monolithic hidden representation and a single set of parameters which are applied over the entire hidden representation. This potentially throws unrelated sources of information together, and limits the Transformer's ability to capture independent mechanisms. To address this, we propose Transformers with Independent Mechanisms (TIM), a new Transformer layer which divides the hidden representation and parameters into multiple mechanisms, which only exchange information through attention. Additionally, we propose a competition mechanism which encourages these mechanisms to specialize over time steps, and thus be more independent. We study TIM on a large-scale BERT model, on the Image Transformer, and on speech enhancement and find evidence for semantically meaningful specialization as well as improved performance.

研究动机与目标

• 为解决标准Transformer使用单一隐藏表征和所有位置共享参数所导致的无关特征表征纠缠问题。
• 引入结构归纳偏差，以支持独立机制——即当世界中无关方面发生变化时仍能保持功能的模块——受因果推断文献的启发。
• 通过竞争机制在时间步上鼓励机制专业化，从而提升模型泛化能力。
• 通过实证验证，TIM能够实现语义上有意义的专业化，并在多样化任务（包括自然语言处理、视频推理和语音增强）中实现更优性能。

提出的方法

• TIM将每个Transformer层的隐藏表征和参数划分为多个独立机制，每个机制拥有独立的参数集。
• 机制之间仅通过交叉注意力进行通信，确保信息交换是动态且与位置相关的。
• 引入竞争机制，通过惩罚机制对无关位置的解释来鼓励其专业化，从而促进角色分化。
• 竞争机制通过可微分的路由机制实现，该机制可学习为每个位置分配机制的相关性分数。
• 在BERT、Image Transformer和语音增强任务上评估了该架构，并对机制数量和竞争机制进行了消融研究。
• TIM采用端到端标准优化进行训练，在保持参数效率的同时实现了模块化、专业化处理。

实验结果

研究问题

• RQ1 将Transformer的隐藏表征拆分为多个独立机制，是否能提升模型的泛化能力和性能？
• RQ2 机制之间的竞争机制是否能导致语义专业化，即每个机制学习处理不同的数据因素？
• RQ3 TIM在自然语言处理、视频推理和语音增强等多样化任务中，与标准Transformer及其他模块化架构相比表现如何？
• RQ4 机制数量和竞争机制对模型性能与专业化的影响是什么？

主要发现

• TIM-Comp在8个机制下于CATER目标追踪任务上达到71.1%的Top-1准确率，优于标准Transformer（68.7%）和LSTM（67.4%）。
• 在GLUE基准测试中，TIM模型表现出更低的掩码语言建模损失，并且在不同随机种子下的性能更加稳定，优于BERT基线模型。
• TIM-Comp在4个机制下于CATER任务上达到87.3%的Top-5准确率，显著优于Transformer基线（81.7%）。
• TIM架构降低了微调结果的方差，表明其在不同训练运行中具有更高的鲁棒性和可靠性。
• 实证结果表明，TIM中的机制会针对不同的语义因素（如物体特征或空间关系）实现专业化，这一结论得到了注意力模式和路由行为的验证。