[论文解读] New insights and perspectives on the natural gradient method

James Martens|arXiv (Cornell University)|Dec 3, 2014

Sparse and Compressive Sensing Techniques参考文献 56被引用 95

一句话总结

本文将自然梯度方法重新解释为一种使用费雪信息矩阵作为海森矩阵近似的二阶优化技术，证明其在许多情况下与广义高斯-牛顿矩阵等价。该文建立了随机自然梯度下降在凸二次目标上的理论收敛速率，批判了经验费雪矩阵近似，表明自然梯度保持了近似的参数化不变性——并通过信赖域和Tikhonov正则化提供了实用的设计洞见，以实现鲁棒训练。

ABSTRACT

Natural gradient descent is an optimization method traditionally motivated from the perspective of information geometry, and works well for many applications as an alternative to stochastic gradient descent. In this paper we critically analyze this method and its properties, and show how it can be viewed as a type of 2nd-order optimization method, with the Fisher information matrix acting as a substitute for the Hessian. In many important cases, the Fisher information matrix is shown to be equivalent to the Generalized Gauss-Newton matrix, which both approximates the Hessian, but also has certain properties that favor its use over the Hessian. This perspective turns out to have significant implications for the design of a practical and robust natural gradient optimizer, as it motivates the use of techniques like trust regions and Tikhonov regularization. Additionally, we make a series of contributions to the understanding of natural gradient and 2nd-order methods, including: a thorough analysis of the convergence speed of stochastic natural gradient descent (and more general stochastic 2nd-order methods) as applied to convex quadratics, a critical examination of the oft-used "empirical" approximation of the Fisher matrix, and an analysis of the (approximate) parameterization invariance property possessed by natural gradient methods (which we show also holds for certain other curvature, but notably not the Hessian).

研究动机与目标

• 将自然梯度方法重新表述为一种使用费雪矩阵作为海森矩阵替代品的二阶优化方法。
• 分析随机自然梯度下降在凸二次目标上的收敛速度。
• 批判性评估广泛使用的经验费雪矩阵近似及其局限性。
• 研究自然梯度方法的参数化不变性特性，并与其他基于曲率的方法进行比较。
• 为鲁棒的自然梯度优化器提供实用的设计原则，包括阻尼和正则化技术。

提出的方法

• 通过将费雪信息矩阵视为海森矩阵近似，将自然梯度下降重新解释为二阶方法。
• 证明在许多情况下，费雪矩阵与广义高斯-牛顿矩阵等价，尤其是在具有指数族似然的神经网络中。
• 使用信赖域和Tikhonov正则化来稳定自然梯度更新，从而在实践中提高鲁棒性。
• 通过基于递推不等式的界限，分析随机自然梯度下降在凸二次目标上的收敛速率。
• 采用连续时间极限分析研究重参数化下的路径等价性，依赖于一致连续性和有界性条件。
• 推导出在不同参数化下自然梯度路径之间误差的理论界限，证明在特定条件下具有渐近路径等价性。

实验结果

研究问题

• RQ1 自然梯度方法与牛顿法等经典二阶优化方法有何关系？
• RQ2 随机自然梯度下降在凸二次目标上的收敛速率是多少？
• RQ3 为何经验费雪矩阵近似无法保持真实费雪矩阵的关键几何特性？
• RQ4 在实际应用中，自然梯度方法在有限步长下在多大程度上保持了参数化不变性？
• RQ5 如何利用信赖域和Tikhonov正则化来提升自然梯度优化的稳定性和鲁棒性？

主要发现

• 在许多重要情形下，费雪信息矩阵被证明与广义高斯-牛顿矩阵等价，尤其是在具有指数族似然的模型中。
• 在凸二次目标上，随机自然梯度下降的收敛速率取决于海森矩阵的条件数和费雪矩阵的曲率，且通过递推不等式导出了明确的界限。
• 经验费雪矩阵近似无法保持真实自然梯度的参数化不变性特性，从而在许多应用中削弱了其理论依据。
• 当更新方向一致连续且步长趋于零时，自然梯度下降仅在有限步长下保持近似的参数化不变性。
• 信赖域和Tikhonov正则化被证明对稳定自然梯度更新至关重要，尤其是在使用近似费雪矩阵时。
• 理论分析证实，在较弱的正则性条件下，即使使用近似曲率矩阵，自然梯度更新的路径仍会收敛到与真实自然梯度相同的连续轨迹。