[论文解读] Tractable structured natural gradient descent using local parameterizations

Lin Wu, Frank Nielsen+2 more|arXiv (Cornell University)|Feb 15, 2021

Face and Expression Recognition参考文献 49被引用 5

一句话总结

本文提出了一种适用于结构化参数空间（如低秩或稀疏协方差）的可计算自然梯度下降方法，通过利用局部参数化绕过计算上不可行的 Fisher 信息矩阵（FIM）计算。通过使用保持结构约束的辅助参数化（例如通过矩阵群），该方法在深度学习、变分推断和进化策略中实现了高效且具备几何感知的优化，具有重参数化不变性，并支持可扩展的 Hessian-向量积计算。

ABSTRACT

Natural-gradient descent (NGD) on structured parameter spaces (e.g., low-rank covariances) is computationally challenging due to difficult Fisher-matrix computations. We address this issue by using \emph{local-parameter coordinates} to obtain a flexible and efficient NGD method that works well for a wide-variety of structured parameterizations. We show four applications where our method (1) generalizes the exponential natural evolutionary strategy, (2) recovers existing Newton-like algorithms, (3) yields new structured second-order algorithms via matrix groups, and (4) gives new algorithms to learn covariances of Gaussian and Wishart-based distributions. We show results on a range of problems from deep learning, variational inference, and evolution strategies. Our work opens a new direction for scalable structured geometric methods.

研究动机与目标

• 为解决在低秩或稀疏协方差等结构化参数空间上自然梯度下降（NGD）的计算不可行性问题，特别是由于 Fisher 信息矩阵（FIM）奇异或难以计算所致。
• 开发一种通用且灵活的 NGD 框架，保持几何不变性，并避免在 FIM 计算中采用临时近似。
• 通过利用保持结构约束的局部坐标，实现在深度学习、变分推断和进化策略等应用中的高效优化。
• 在统一的几何框架下，将现有二阶方法（如牛顿类算法、指数自然进化策略）进行统一与推广。

提出的方法

• 引入一种基于辅助变量（如矩阵因子）的局部参数化方案，用于表示结构化参数（如低秩协方差矩阵），从而避免在约束流形上直接计算 FIM。
• 采用两步映射：从局部参数（η）到辅助参数（λ），再从 λ 到全局参数（τ），通过光滑且可逆的映射确保结构约束得以保持。
• 利用 Hessian-向量积和矩阵群结构（如上三角或下三角矩阵）在局部参数空间中推导 NGD 更新，实现高效且稳定的更新。
• 使用矩阵函数（如矩阵指数）和逐元素提取（κ_up）来在精度矩阵中强制实现稀疏性和低秩结构。
• 通过结构化分解（如 B = B_t h(M)，其中 h 为矩阵指数）对精度矩阵进行参数化，将该方法应用于高斯分布和 Wishart 分布。
• 采用一个常数矩阵 C_up 来缩放更新，其来源于参数流形的几何结构，确保曲率近似的稳定性。

实验结果

研究问题

• RQ1 是否可以在不产生高昂 FIM 计算成本的前提下，使自然梯度下降在低秩或稀疏协方差等结构化参数空间上变得可计算？
• RQ2 如何设计局部参数化，以在二阶优化中保持几何不变性与结构约束？
• RQ3 该框架在多大程度上能够将现有二阶算法（如牛顿类算法、进化策略）统一于单一的信息几何框架之下？
• RQ4 该方法是否能通过 Hessian-向量积和矩阵群结构实现高效计算，并扩展至高维问题？

主要发现

• 所提方法在贝叶斯逻辑回归中表现出对参数化选择的不变性，优于标准梯度下降，展现出对重参数化的鲁棒性。
• 该方法通过将矩阵群参数化嵌入更广泛的几何框架，推广了指数自然进化策略。
• 在低秩高斯协方差学习中，该方法恢复了已知的牛顿类算法，并通过矩阵群参数化引入了新型结构化二阶更新。
• 该算法通过使用 Hessian-向量积和结构化矩阵分解，在变分推断和深度学习中实现了高效优化，避免了完整 FIM 的计算。
• 实验结果表明，该方法在深度学习、变分推断和进化策略基准测试中均优于标准 NGD 和一阶基线方法，表现出稳定收敛和更高的样本效率。