[论文解读] Revisiting "Qualitatively Characterizing Neural Network Optimization Problems"

Jonathan Frankle|arXiv (Cornell University)|Dec 12, 2020

Advanced Neural Network Applications参考文献 6被引用 8

一句话总结

本文在現代深度學習設定下重新評估了 Goodfellow 等人（2014）的研究，探討從網絡初始化權重到訓練後權重之間的線性插值。與在 MNIST 上的原始研究不同，作者發現在更大規模的任務（CIFAR-10、ImageNet）中，損失在接近最優解之前始終保持較高且非凸，且在訓練初期便出現尖銳障礙——挑戰了現代神經網絡具有簡單、類凸損失曲面的觀點。

ABSTRACT

We revisit and extend the experiments of Goodfellow et al. (2014), who showed that - for then state-of-the-art networks - "the objective function has a simple, approximately convex shape" along the linear path between initialization and the trained weights. We do not find this to be the case for modern networks on CIFAR-10 and ImageNet. Instead, although loss is roughly monotonically non-increasing along this path, it remains high until close to the optimum. In addition, training quickly becomes linearly separated from the optimum by loss barriers. We conclude that, although Goodfellow et al.'s findings describe the "relatively easy to optimize" MNIST setting, behavior is qualitatively different in modern settings.

研究动机与目标

• 在現代深度學習設定下，重新表達並延伸 Goodfellow 等人（2014）關於神經網絡損失曲面的定性分析。
• 調查在初始化與訓練後權重之間沿線性路徑觀察到的近似凸性損失行為，是否能從 MNIST 推廣至當前的架構與數據集。
• 評估早期研究中觀察到的優化簡單性是否反映現代網絡的根本特性，還是僅限於 MNIST 的設定。
• 探討從初始化插值之外，從訓練中間點（特別是損失曲面結構的變化）插值時，損失曲面如何演變，特別關注障礙與非單調行為。

提出的方法

• 在訓練起始（第 0 次迭代）的網絡權重與訓練結束時的最終權重之間進行線性插值，沿路徑使用 100 個均勻分佈的點。
• 透過使用不同隨機種子的多次重複實驗，評估沿此路徑的測試損失與錯誤率，以確保統計穩健性。
• 將分析擴展至從訓練中間迭代點（例如 t = 16、256、1000）插值到最終權重，以評估損失曲面結構隨時間的變化。
• 在 CIFAR-10 上使用 ResNet-20 和 VGG-16，在 ImageNet 上使用 ResNet-50，採用 OpenLTH 中的預設超參數與數據增強方法。
• 測量每條插值路徑上損失與錯誤的最大增幅，以檢測障礙的出現。
• 專注於測試集表現，因為使用完整的 ImageNet 訓練集在計算上不可行。

实验结果

研究问题

• RQ1 Goodfellow 等人（2014）在 MNIST 上觀察到的近似凸性、單調遞減損失行為，是否能推廣至現代網絡在 CIFAR-10 和 ImageNet 上的訓練？
• RQ2 若從訓練中間點而非初始化點插值，損失曲面如何變化？
• RQ3 在訓練過程中，從當前網絡狀態到最終訓練權重之間的損失障礙最早出現在何時？
• RQ4 初始化附近損失曲面的「簡單性」是否為普遍特性，還是僅針對未訓練網絡性能較差的特例？

主要发现

• 在 MNIST 上，Goodfellow 等人（2014）的原始發現得到確認：損失沿從初始化到最終權重的線性路徑平滑且單調下降，未出現顯著障礙。
• 在 CIFAR-10 上的 VGG-16 和 ResNet-20 上，損失在從初始化到最終權重的大部分路徑上保持較高且近乎不變，僅在接近尾聲時才顯著下降，顯示缺乏近似凸性。
• 在 ImageNet 上的 ResNet-50 上，損失在接近最終權重之前幾乎沒有可檢測到的下降，表明該路徑在優化過程中直到最後階段才具有資訊量。
• 在所有大規模設定中，損失障礙在訓練初期便出現：VGG-16 和 ResNet-20 從第 16 次迭代起，ResNet-50 從第 256 次迭代起，顯示最優解在訓練開始後不久即變得線性不可達。
• 在 VGG-16 約 8,000 次迭代、ResNet-20 約 2,000 次迭代、ResNet-50 約 50,000 次迭代後，損失障礙消失，表明最優解在訓練後期再次變得線性可達。
• 研究結果表明，Goodfellow 等人（2014）觀察到的行為僅適用於 MNIST 設定，無法推廣至現代大規模深度學習任務。