[论文解读] Relative gradient optimization of the Jacobian term in unsupervised deep learning

Luigi Gresele, Giancarlo Fissore+3 more|arXiv (Cornell University)|Jun 26, 2020

Neural Networks and Applications参考文献 2被引用 7

一句话总结

该论文提出了一种相对梯度优化方法，用于对具有可逆神经网络的深度密度模型进行精确训练，通过在矩阵参数空间上利用黎曼几何，实现输入维度的二次计算复杂度。该方法无需结构约束，即可实现对雅可比行列式项的高效精确优化——这是最大似然训练的关键——相比标准自动微分提速高达50倍，相比朴素方法提速4.5倍，在MNIST数据集上表现优异，同时在对数似然性能上达到或超越现有水平。

ABSTRACT

Learning expressive probabilistic models correctly describing the data is a ubiquitous problem in machine learning. A popular approach for solving it is mapping the observations into a representation space with a simple joint distribution, which can typically be written as a product of its marginals -- thus drawing a connection with the field of nonlinear independent component analysis. Deep density models have been widely used for this task, but their maximum likelihood based training requires estimating the log-determinant of the Jacobian and is computationally expensive, thus imposing a trade-off between computation and expressive power. In this work, we propose a new approach for exact training of such neural networks. Based on relative gradients, we exploit the matrix structure of neural network parameters to compute updates efficiently even in high-dimensional spaces; the computational cost of the training is quadratic in the input size, in contrast with the cubic scaling of naive approaches. This allows fast training with objective functions involving the log-determinant of the Jacobian, without imposing constraints on its structure, in stark contrast to autoregressive normalizing flows.

研究动机与目标

• 为解决深度密度模型中由于雅可比行列式的对数行列式导致的最大似然精确训练计算成本过高的问题。
• 在不限制网络架构的前提下，实现对可逆神经网络中雅可比行列式项的精确优化。
• 开发一种可扩展的优化方法，避免自回归归一化流中固有的表达能力与计算效率之间的权衡。
• 将相对梯度更新与标准反向传播相结合，实现深度潜在变量模型的高效训练。
• 证明该方法在显著减少训练时间的同时，实现最先进水平的对数似然性能。

提出的方法

• 该方法采用相对梯度形式化参数更新，即一种适配于矩阵参数空间的黎曼自然梯度，利用权重重矩阵的几何结构。
• 推导出雅可比行列式对数行列式的相对梯度的闭式表达式，实现精确且高效的计算。
• 该方法可无缝集成至标准反向传播中，支持带有可逆层的深度神经网络端到端训练。
• 前向与反向传播的计算复杂度随输入维度呈二次方增长，与朴素自动微分的立方方复杂度形成对比。
• 该方法具有通用性，适用于任何涉及雅可比行列式行列式的优化目标，包括最大似然估计与变分推断。
• 采用全连接可逆层，激活函数为平滑的Leaky-ReLU，潜在变量采用标准正态分布。

实验结果

研究问题

• RQ1 在不施加架构限制的前提下，是否能对可逆深度网络中的雅可比行列式对数行列式实现精确且高效的优化？
• RQ2 在矩阵参数空间上采用相对梯度优化，是否能实现随输入维度呈有利增长的计算复杂度？
• RQ3 该方法是否能在收敛速度和对数似然性能上优于标准自动微分或自回归归一化流？
• RQ4 该方法在具有不同维度和数据复杂度的多样化数据集上表现如何？
• RQ5 相对梯度方法是否与标准深度学习训练流程（如Adam优化和小批量训练）兼容？

主要发现

• 所提方法在雅可比行列式项上的计算复杂度为O(D²)，相比标准自动微分的O(D³)，显著提升效率。
• 在MNIST数据集（D=784）上，该方法比标准优化快约4.5倍，比朴素自动微分快约50倍，收敛时间约为15分钟。
• 在POWER、GAS、HEPMASS、MINiboone和BSDS300等基准数据集上，该方法实现了最先进水平的对数似然性能，与或超越了先前方法。
• 通过早停法和网格搜索选择最佳性能模型，超参数调优以匹配先前模型的参数量，确保公平比较。
• 该方法实现了对任意雅可比行列式的深度密度模型的精确训练，避免了三角结构流的表征限制。
• 实证结果证实，相对梯度方法在广泛的数据模态和输入维度下均具有可扩展性与有效性。