[论文解读] What comes after transformers? -- A selective survey connecting ideas in deep learning

Johannes Schneider|arXiv (Cornell University)|Aug 1, 2024

Advanced Neural Network Applications被引用 4

一句话总结

本文综述了Transformer之外深度学习的最新创新，聚焦于状态空间模型、胶囊网络以及新型层设计等替代架构。它识别出若干反复出现的设计模式——如多-X、高阶层、数据控制门控、移动平均和矩阵分解——这些模式统一了成功的进展，并为未来研究指明了方向，推动超越当前Transformer范式的非渐进式突破。

ABSTRACT

Transformers have become the de-facto standard model in artificial intelligence since 2017 despite numerous shortcomings ranging from energy inefficiency to hallucinations. Research has made a lot of progress in improving elements of transformers, and, more generally, deep learning manifesting in many proposals for architectures, layers, optimization objectives, and optimization techniques. For researchers it is difficult to keep track of such developments on a broader level. We provide a comprehensive overview of the many important, recent works in these areas to those who already have a basic understanding of deep learning. Our focus differs from other works, as we target specifically novel, alternative potentially disruptive approaches to transformers as well as successful ideas of recent deep learning. We hope that such a holistic and unified treatment of influential, recent works and novel ideas helps researchers to form new connections between diverse areas of deep learning. We identify and discuss multiple patterns that summarize the key strategies for successful innovations over the last decade as well as works that can be seen as rising stars. Especially, we discuss attempts on how to improve on transformers covering (partially) proven methods such as state space models but also including far-out ideas in deep learning that seem promising despite not achieving state-of-the-art results. We also cover a discussion on recent state-of-the-art models such as OpenAI's GPT series and Meta's LLama models and, Google's Gemini model family.

研究动机与目标

• 识别并综合有前景的非Transformer架构与组件，这些架构与组件可能在未来取代或超越Transformer在深度学习中的地位。
• 揭示近年来深度学习进步中反复出现的设计模式，以解释其成功原因。
• 为研究人员提供一个全面、统一的视角，涵盖近期在模型架构、层结构和优化方法方面的突破，避免局限于特定任务的狭隘综述。
• 突出已被验证有效的方法（如状态空间模型）以及具有未来潜力的前沿构想，即使尚未达到最先进水平。
• 通过共享的设计原则，连接自然语言处理、计算机视觉和通用深度学习领域的思想，激发新的研究思路。

提出的方法

• 本综述整合了2016年至今的有影响力文献，优先选择在Paperswithcode.com上具有高使用指标且在研究社区中快速采用的成果。
• 对关键架构创新进行分类与分析，包括替代注意力机制、状态空间模型，以及Mish和GELU等新型层类型。
• 作者识别并形式化了五种反复出现的设计模式：多-X、高阶层、数据控制门控、移动平均和矩阵分解。
• 研究方法依赖于基准排行榜的实证验证与引文分析，并辅以Google Scholar和综述文献的手动验证。
• 将基于Transformer的模型（如GPT、Llama、Gemini）与新兴替代方案进行对比，评估其理论与实际潜力。
• 为保持焦点，本研究不涵盖数据增强、模型压缩和分布式训练等内容，专注于架构与优化方面的创新。

Figure 1 : Overview: Part 1 deals with transformers, Part 2 with deep learning (Lower graph based on [ 103 ] )

实验结果

研究问题

• RQ1 哪些最具潜力的架构替代方案可能颠覆当前的深度学习格局？
• RQ2 哪些反复出现的设计模式支撑了近年来深度学习创新的成功，而不仅仅是渐进式改进？
• RQ3 在效率、表达能力与可扩展性方面，新兴模型如状态空间模型和胶囊网络与Transformer相比如何？
• RQ4 为何一些前沿的深度学习构想，尽管未达到最先进水平，仍具有未来重大突破的潜力？
• RQ5 当前的深度学习进展在多大程度上代表了渐进式改进，而非根本性的范式转变？

主要发现

• 本文识别出五种关键设计模式——多-X、高阶层、数据控制门控、移动平均和矩阵分解——这些模式反复支撑着成功的深度学习创新。
• 状态空间模型被突出为注意力机制的领先替代方案，具备线性复杂度，并在序列建模中表现出色。
• 数据控制门控机制（如注意力、LSTM、GELU和专家混合模型中的机制）被证明是实现动态信息流动的强大抽象。
• 尽管Transformer占据主导地位，但其在多种任务中表现优异，违反了‘无免费午餐’定理，暗示特定领域专用架构可能在特定场景下超越Transformer。
• 综述揭示了研究领域中存在‘赢家通吃’的动态，平台指标可能忽视创新但不热门的想法，从而导致真正颠覆性创新的停滞。
• 作者结论认为，尽管近期进展极具创造力，但整体仍属渐进式改进，未来突破将需要超越当前架构趋势的根本性新方法。

Figure 2 : Transformer with the four basic blocks on top and the encoder and decoder at the bottom Figure from [ 103 ]