[论文解读] Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning

Aniket Didolkar, Kshitij Gupta+5 more|arXiv (Cornell University)|May 30, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文提出时间潜在瓶颈（Temporal Latent Bottleneck, TLB），一种双流架构，结合基于Transformer的快速感知流与缓慢的循环流，以学习序列的压缩、高层级表征。通过将固定长度片段的信息强制进入压缩瓶颈状态，并利用该状态来调节快速流，该模型在序列学习任务中实现了更高的样本效率和泛化能力，在视觉感知与决策基准测试中表现优于强基线模型，包括在长序列复制任务中达到完美准确率。

ABSTRACT

Recurrent neural networks have a strong inductive bias towards learning temporally compressed representations, as the entire history of a sequence is represented by a single vector. By contrast, Transformers have little inductive bias towards learning temporally compressed representations, as they allow for attention over all previously computed elements in a sequence. Having a more compressed representation of a sequence may be beneficial for generalization, as a high-level representation may be more easily re-used and re-purposed and will contain fewer irrelevant details. At the same time, excessive compression of representations comes at the cost of expressiveness. We propose a solution which divides computation into two streams. A slow stream that is recurrent in nature aims to learn a specialized and compressed representation, by forcing chunks of $K$ time steps into a single representation which is divided into multiple vectors. At the same time, a fast stream is parameterized as a Transformer to process chunks consisting of $K$ time-steps conditioned on the information in the slow-stream. In the proposed approach we hope to gain the expressiveness of the Transformer, while encouraging better compression and structuring of representations in the slow stream. We show the benefits of the proposed method in terms of improved sample efficiency and generalization performance as compared to various competitive baselines for visual perception and sequential decision making tasks.

研究动机与目标

• 解决标准Transformer在时间压缩方面缺乏归纳偏置的问题，该问题导致样本效率低下和过拟合。
• 受认知科学启发，将快速、高容量的处理（如Transformer）与缓慢、压缩的长期记忆（如RNN）相结合。
• 通过引入可学习瓶颈的分层注意力机制，提升序列建模中的泛化能力与样本效率。
• 通过仅将成对注意力限制在块内及块间瓶颈交互，而非全序列注意力，降低计算复杂度。

提出的方法

• 将输入序列划分为K个时间步的固定大小块。
• 快速流通过标准Transformer实现，独立处理每个块，以捕捉细粒度的局部表征。
• 慢速流通过循环网络实现，每块更新一次，以维持序列历史的压缩、高层级表征。
• 慢速流的隐藏状态充当时间潜在瓶颈（TLB），总结跨块的长程依赖关系。
• 快速流通过交叉注意力机制关注当前TLB状态，实现基于长期记忆的上下文感知处理。
• 从TLB到快速流的自顶向下反馈增强了上下文建模，提升了长程任务的性能。

实验结果

研究问题

• RQ1 结合快速局部处理与慢速压缩表征学习的双流架构，能否提升序列建模中的样本效率？
• RQ2 引入用于长期记忆的可学习、循环瓶颈，是否能提升分布外与长时域任务的泛化能力？
• RQ3 在性能与计算成本方面，TLB机制相较于全注意力Transformer及其他高效注意力变体表现如何？
• RQ4 从瓶颈到快速流的自顶向下注意力在多大程度上提升了模型性能？
• RQ5 TLB机制能否在标准Transformer失效的长序列复制任务中保持完美准确率？

主要发现

• 所提出的Transformer + TLB模型在ListOps任务上达到38.20 ± 0.0001%的准确率，显著优于仅关注前序块的基线模型（32.10 ± 0.019%），证明了TLB捕捉长程依赖的能力。
• 该模型在序列长度达600的复制任务中实现完美准确率，而Feedback Transformer基线模型在超过400个标记后开始失效，显示出更强的长上下文泛化能力。
• TLB模型在样本效率方面优于Feedback Transformer，在所有序列长度下达到复制任务完美准确率所需的唯一样本更少。
• 若从TLB到快速流移除自顶向下注意力，性能下降至37.57 ± 0.003%，证实高层反馈对最优性能至关重要。
• TLB模型在视觉感知与序列决策任务的多样化任务中，均展现出一致的泛化与样本效率提升。