[论文解读] Understanding Self-attention Mechanism via Dynamical System Perspective

Zhongzhan Huang, Mingfu Liang+3 more|arXiv (Cornell University)|Aug 19, 2023

Neural Networks and Reservoir ComputingComputer Science被引用 3

一句话总结

本文從動力系統的視角出發，提出自注意力機制（SAM）是一種感知剛性（stiffness-aware）的步長自適應器，能透過測量特徵軌跡中的內在剛性現象（SP）來提升神經網絡的表徵能力。透過將殘差網絡建模為ODE求解器，作者證明SAM能精確估算剛性，從而更貼近真實軌跡（GT），進而提升模型表現，並由此啟發出新型的StepNet架構，在視覺基準上取得當前最優的結果。

ABSTRACT

The self-attention mechanism (SAM) is widely used in various fields of artificial intelligence and has successfully boosted the performance of different models. However, current explanations of this mechanism are mainly based on intuitions and experiences, while there still lacks direct modeling for how the SAM helps performance. To mitigate this issue, in this paper, based on the dynamical system perspective of the residual neural network, we first show that the intrinsic stiffness phenomenon (SP) in the high-precision solution of ordinary differential equations (ODEs) also widely exists in high-performance neural networks (NN). Thus the ability of NN to measure SP at the feature level is necessary to obtain high performance and is an important factor in the difficulty of training NN. Similar to the adaptive step-size method which is effective in solving stiff ODEs, we show that the SAM is also a stiffness-aware step size adaptor that can enhance the model's representational ability to measure intrinsic SP by refining the estimation of stiffness information and generating adaptive attention values, which provides a new understanding about why and how the SAM can benefit the model performance. This novel perspective can also explain the lottery ticket hypothesis in SAM, design new quantitative metrics of representational ability, and inspire a new theoretic-inspired approach, StepNet. Extensive experiments on several popular benchmarks demonstrate that StepNet can extract fine-grained stiffness information and measure SP accurately, leading to significant improvements in various visual tasks.

研究动机与目标

• 建立自注意力機制（SAM）與深度神經網絡中剛性常微分方程（ODE）數值解之間的直接聯繫。
• 識別剛性現象（SP）為阻礙神經網絡高表現表徵學習的關鍵因素。
• 證明SAM作為一種感知剛性的步長自適應器，能提升模型測量SP的能力，並更接近真實軌跡（GT）。
• 透過SP與特徵軌跡特性，解釋自注意力中的彩票理論假說（LTH4SA）。
• 建立新的理論框架與度量指標（TNS），用於評估神經網絡的表徵能力，並啟發新型架構StepNet。

提出的方法

• 使用非剛性指標（NSI）與剛性比例度量，於特徵層次定義剛性現象（SP）。
• 將殘差神經網絡建模為ODE的前向歐拉離散化形式，將每個殘差模塊解釋為一個時間步。
• 引入真實軌跡（GT）的觀念，即具有內在SP的最優解路徑，源自表現優異的模型。
• 理論與實證證明SAM透過精確估算剛性與生成測量SP的注意力值，發揮自適應步長方法的作用。
• 提出StepNet作為理論啟發的架構，透過可學習的感知剛性模塊，顯式提取細粒度的剛性資訊。
• 設計新的表徵能力度量指標TNS（總非剛性分數），用於定量評估模型測量SP的表現。

实验结果

研究问题

• RQ1 自注意力機制如何與深度神經網絡中剛性ODE的數值解相關聯？
• RQ2 SAM為何且如何超越啟發式解釋，提升模型表現？
• RQ3 剛性現象（SP）在高表現神經網絡特徵軌跡中扮演何種角色？
• RQ4 自注意力中的彩票理論假說（LTH4SA）能否由特徵軌跡中SP的內在特性來解釋？
• RQ5 能否基於SAM與SP的動力系統觀點，設計出新架構以提升性能？

主要发现

• 剛性現象（SP）在高表現神經網絡中普遍存在，真實軌跡（GT）在少數時間步中表現出SP，與物理動力系統一致。
• 自注意力機制作為一種感知剛性的步長自適應器，能精確估算剛性並生成自適應注意力值以測量SP，使模型能更貼近GT軌跡。
• 總非剛性分數（TNS）與模型準確率呈現強烈正相關，顯示其為表徵能力的可靠定量指標。
• StepNet作為理論啟發的架構，透過顯式提取細粒度的剛性資訊，在多個視覺基準上實現顯著性能提升。
• 自注意力中的彩票理論假說（LTH4SA）可解釋為：僅軌跡中少數特徵會引發SP，因此僅在少數模塊插入SAM即足以提升表現。
• 實證結果顯示，訓練良好的模型其特徵軌跡具有SP，且SAM測量SP的能力與模型準確率高度相關。