[论文解读] The Slingshot Mechanism: An Empirical Study of Adaptive Optimizers and the Grokking Phenomenon

Vimal Thilak, Etai Littwin+4 more|arXiv (Cornell University)|Jun 10, 2022

Quantum many-body systems被引用 4

一句话总结

本文識別出『彈弓機制』——一種在自適應優化器（如 Adam）中此前未知的優化異常現象，其特徵為在訓練後期出現穩定與不穩定狀態之間的週期性相變，表現為權重範數迅速增長，隨後出現損失尖峰並進入平台期。研究顯示，『頓悟』現象（即在長時間過擬合後突然出現完美泛化）幾乎總是在這些彈弓事件的起始時刻發生，揭示出自適應優化器中存在一種關鍵的內 induction 偏置，挑戰了現有的優化理論。

ABSTRACT

The grokking phenomenon as reported by Power et al. ( arXiv:2201.02177 ) refers to a regime where a long period of overfitting is followed by a seemingly sudden transition to perfect generalization. In this paper, we attempt to reveal the underpinnings of Grokking via a series of empirical studies. Specifically, we uncover an optimization anomaly plaguing adaptive optimizers at extremely late stages of training, referred to as the Slingshot Mechanism. A prominent artifact of the Slingshot Mechanism can be measured by the cyclic phase transitions between stable and unstable training regimes, and can be easily monitored by the cyclic behavior of the norm of the last layers weights. We empirically observe that without explicit regularization, Grokking as reported in ( arXiv:2201.02177 ) almost exclusively happens at the onset of Slingshots, and is absent without it. While common and easily reproduced in more general settings, the Slingshot Mechanism does not follow from any known optimization theories that we are aware of, and can be easily overlooked without an in depth examination. Our work points to a surprising and useful inductive bias of adaptive gradient optimizers at late stages of training, calling for a revised theoretical analysis of their origin.

研究动机与目标

• 探究『頓悟』現象的潛在機制，即模型在長時間過擬合階段後突然實現完美泛化。
• 識別並特徵化自適應優化器（如 Adam）在後期訓練中出現的先前未知優化異常現象。
• 確定『頓悟』出現的條件，並判斷其是否與特定訓練動態存在因果關係。
• 探討『彈弓機制』是否在不同模型、資料集與優化器之間具有可推廣性。
• 評估替代正則化策略（如權重衰減、特徵歸一化）在緩解不穩定性與促進泛化方面的效果。

提出的方法

• 在全連接神經網絡與 Transformer 模型上，使用 Adam 優化器對算法生成的資料集（如除法、乘法、減法）進行實證分析，以研究訓練動態。
• 將最後一層權重的 L2 範數作為關鍵診斷指標，用於檢測快速增長與平台期之間的週期性相變。
• 追蹤多次訓練執行過程中的訓練與驗證損失、準確率及特徵演化，以將相變與泛化改進相關聯。
• 透過餘弦相似度引入溫度控制的特徵與權重歸一化，以控制範數增長並評估訓練穩定性。
• 比較在有無溫度縮放的情況下，權重衰減與特徵歸一化的影響，以評估其對泛化與訓練穩定性的效果。
• 透過在多個資料集與模型架構上進行消融實驗，確認『彈弓機制』的普遍性。

实验结果

研究问题

• RQ1 先前研究中觀察到的『頓悟』現象是否僅在『彈弓機制』起始時發生？
• RQ2 『彈弓機制』在權重範數演化與訓練損失行為方面的特徵動態為何？
• RQ3 『彈弓機制』與使用自適應優化器訓練的模型之泛化性能有何關聯？
• RQ4 如權重衰減或特徵歸一化等替代正則化技術，能否複製或穩定『頓悟』中觀察到的泛化行為？
• RQ5 『彈弓機制』是否在不同模型架構與資料集上均為普遍現象？

主要发现

• 『彈弓機制』特徵為在快速權重範數增長與平台期之間的週期性相變，伴隨訓練損失尖峰，且僅在自適應優化器（如 Adam）中觀察到。
• 『頓悟』——定義為突然轉向完美泛化——幾乎僅在『彈弓』事件的起始時刻發生，且在未發生此類轉變時完全不會出現。
• 該機制在多種模型（如 MLP、Transformer）與資料集（視覺、演算法、合成）中廣泛存在且可重現，表明其為自適應優化器的一種普遍內 induction 偏置。
• 權重衰減與帶溫度縮放的特徵歸一化可穩定訓練並實現高驗證準確率，但僅在 τ = 0.25 時的溫度調節能一致地防止不穩定性並支持泛化。
• 『彈弓機制』無法從已知優化理論中推導，代表自適應梯度方法中此前被忽略的一種內 induction 偏置。
• 在範數轉變期間，特徵表示迅速演化，但在平台期相對穩定，表明不穩定期間存在動態特徵適應。