[论文解读] Revisiting Natural Gradient for Deep Networks

Razvan Pascanu, Yoshua Bengio|arXiv (Cornell University)|Jan 16, 2013

Stochastic Gradient Optimization Techniques被引用 121

一句话总结

本文通過將自然梯度下降（NGD）與修正Hessian自由優化及Krylov子空間下降方法相聯繫，重新探討深度神經網絡中的NGD，提出使用截斷牛頓法來求逆Fisher資訊矩陣，而非採用對角近似。主要貢獻在於提出一種更精確、具二階資訊的NGD變體，能改善收斂速度與泛化性能，特別是在使用未標記數據時表現更佳，且對訓練數據排序具有魯棒性。

ABSTRACT

We evaluate natural gradient, an algorithm originally proposed in Amari (1997), for learning deep models. The contributions of this paper are as follows. We show the connection between natural gradient and three other recently proposed methods for training deep models: Hessian-Free (Martens, 2010), Krylov Subspace Descent (Vinyals and Povey, 2012) and TONGA (Le Roux et al., 2008). We describe how one can use unlabeled data to improve the generalization error obtained by natural gradient and empirically evaluate the robustness of the algorithm to the ordering of the training set compared to stochastic gradient descent. Finally we extend natural gradient to incorporate second order information alongside the manifold information and provide a benchmark of the new algorithm using a truncated Newton approach for inverting the metric matrix instead of using a diagonal approximation of it.

研究动机与目标

• 重新評估自然梯度下降（NGD）在深度學習中的應用，特別是其與二階優化方法的關聯。
• 透過截斷牛頓法求逆Fisher資訊矩陣，將完整二階資訊融入NGD以改善其性能。
• 研究將未標記數據引入以提升NGD泛化性能的可行性。
• 透過實驗評估NGD相較於隨機梯度下降（SGD）在訓練數據排序上的魯棒性。
• 透過Krylov子空間技術實現類共軛梯度的參數流形更新，同時降低記憶體開銷。

提出的方法

• 利用Hessian的擴展高斯-牛頓近似，建立NGD、Hessian自由優化與Krylov子空間下降之間的理論聯繫。
• 提出使用截斷牛頓法求逆完整Fisher資訊矩陣，避免使用對角或帶狀近似。
• 提出流形共軛梯度方法，利用線性共軛梯度求逆度量，相較於Krylov子空間方法可降低記憶體使用。
• 使用自動微分計算高效的Hessian-向量積與Jacobian-向量積，透過前向與反向傳播實現。
• 使用不同小批量樣本分別估算梯度與度量，以降低自然梯度方向的噪音。
• 在使用小批量樣本估算梯度與度量時，引入線搜索與阻尼以穩定更新。

实验结果

研究问题

• RQ1 自然梯度下降、Hessian自由優化與Krylov子空間下降如何透過擴展高斯-牛頓近似相互關聯？
• RQ2 使用截斷牛頓法求逆Fisher矩陣是否能改善NGD的收斂與泛化性能？
• RQ3 在度量估算中引入未標記數據是否能提升NGD的泛化誤差表現？
• RQ4 NGD是否比隨機梯度下降（SGD）更具魯棒性，能更好地應對訓練數據排序的影響？
• RQ5 在參數流形上使用共軛梯度方法是否能超越標準NGD，同時降低記憶體使用？

主要发现

• 所提出的NGD變體使用截斷牛頓法求逆度量，其收斂速度優於使用對角近似的標準NGD。
• 在Fisher資訊矩陣估算中引入未標記數據可降低泛化誤差，特別是在度量更精確時效果更顯著。
• 實驗結果顯示NGD在數據排序變化下表現更為穩健，顯示其在非平穩學習場景中具有潛在優勢。
• 當梯度與度量在不同數據上估算時，只要控制阻尼與學習率，該演算法在小批量下仍能保持穩定表現。
• 在共軛梯度步驟中使用線搜索選擇學習率與方向，其性能優於固定或Polak-Ribière基底的更新方式。
• 驗證了Krylov子空間下降與NGD之間的關聯，所提出方法在收斂速度上與KSD相近，但記憶體使用更低。