[论文解读] On the Computational Efficiency of Training Neural Networks

Roi Livni, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Oct 5, 2014

Machine Learning and Algorithms参考文献 21被引用 75

一句话总结

本文通過提出 GECO 這一新穎算法，重新探討了訓練深度神經網絡的計算效率問題，實現了對具有 ReLU 或平方激活函數的深度為 2 的多項式網絡的可證明高效訓練。通過利用非正規學習與近似張量最大化，GECO 在收斂速度與泛化能力方面優於 SGD，特別是在過度規範化情況下表現更佳，並在行人檢測與合成數據上展現出實用優勢。

ABSTRACT

It is well-known that neural networks are computationally hard to train. On the other hand, in practice, modern day neural networks are trained efficiently using SGD and a variety of tricks that include different activation functions (e.g. ReLU), over-specification (i.e., train networks which are larger than needed), and regularization. In this paper we revisit the computational complexity of training neural networks from a modern perspective. We provide both positive and negative results, some of them yield new provably efficient and practical algorithms for training certain types of neural networks.

研究动机与目标

• 解決儘管神經網絡在實踐中表現成功，但其訓練仍存在長期計算困難的問題。
• 探討現代訓練實踐（如過度規範化、ReLU 激活函數與正則化）是否能通過改進算法獲得理論上的合理解釋。
• 為訓練淺層神經網絡開發一種可證明高效且實用的 SGD 替代方案。
• 證明非正規學習可以繞過神經網絡訓練中已知的 NP-難問題。

提出的方法

• 提出 GECO 算法，將訓練問題形式化為在張量結構上的非凸優化問題。
• 通過隨機投影與追蹤最大化技術，實現對核心優化步驟的近似張量最大化，從而高效求解。
• 採用對隨機權重向量的隨機採樣策略，估計三層網絡參數的最優組合。
• 引入一種無學習率與動量的優化方案，避免迭代更新，從而降低計算開銷。
• 將該方法應用於具有 ReLU 或平方激活函數的深度為 2 的網絡，專注於數據的多項式逼近。
• 採用概率分析來界定近似解的誤差，確保收斂至近似最優預測器。

实验结果

研究问题

• RQ1 我們能否設計一種可證明高效的算法，用於訓練深度為 2 的神經網絡，使其優於標準的 SGD？
• RQ2 過度規範化與非線性激活函數（如 ReLU 或平方激活）在多大程度上提升了訓練效率？
• RQ3 非正規學習是否可以繞過神經網絡訓練中的已知 NP-難問題？
• RQ4 是否存在理論依據來解釋現代訓練技巧（如過度規範化與批量歸一化）的實驗成功？

主要发现

• 在行人檢測任務中，GECO 經過 100,000 次迭代後測試誤差約為 0.085，略優於 SGD。
• GECO 的運行時間顯著快於 SGD，後者需更多次迭代才能達到相近性能。
• 當過度規範化係數為 4（240 個隱藏神經元）時，SGD 的收斂速度相比係數為 1 時快達 4 倍，體現了過度規範化的優勢。
• 對於隱藏神經元數量為 40 的深度為 2 的網絡，平方激活函數的測試誤差略低於 ReLU，表明網絡架構選擇具有影響。
• 理論分析表明，在凸且光滑損失條件下，GECO 經過 $ r > \frac{4d\beta k^{2}}{\epsilon(1-\tau)^{2}} $ 次迭代後，以高概率收斂至 $ \epsilon $-最優解。
• 該算法以高概率保證獲得張量最大化問題的 $\frac{1-\tau}{\sqrt{d}}$-近似解，基於隨機投影。