[论文解读] Regularized linear autoencoders recover the principal components, eventually

Xuchan Bao, James Lucas+2 more|arXiv (Cornell University)|Jul 13, 2020

Model Reduction and Neural Networks参考文献 29被引用 11

一句话总结

本文表明，通过非均匀ℓ₂正则化或确定性嵌套丢弃（dropout），正则化线性自编码器（LAE）可以精确恢复有序、轴对齐的主成分。尽管由于损失函数景观的病态条件导致收敛缓慢，作者提出了一种梯度增强方法，显式校正潜在空间的旋转，从而实现快速、全局收敛的主成分恢复，且具有局部线性收敛速率。

ABSTRACT

Our understanding of learning input-output relationships with neural nets has improved rapidly in recent years, but little is known about the convergence of the underlying representations, even in the simple case of linear autoencoders (LAEs). We show that when trained with proper regularization, LAEs can directly learn the optimal representation -- ordered, axis-aligned principal components. We analyze two such regularization schemes: non-uniform $\ell_2$ regularization and a deterministic variant of nested dropout [Rippel et al, ICML' 2014]. Though both regularization schemes converge to the optimal representation, we show that this convergence is slow due to ill-conditioning that worsens with increasing latent dimension. We show that the inefficiency of learning the optimal representation is not inevitable -- we present a simple modification to the gradient descent update that greatly speeds up convergence empirically.

研究动机与目标

• 理解线性自编码器在学习最优、轴对齐主成分表示时的收敛动力学。
• 分析尽管重建误差快速下降，基于梯度的优化为何收敛到正确主成分对齐的速度仍然缓慢。
• 识别收敛缓慢的根本原因在于损失函数景观的海森矩阵病态性，尤其是在潜在维度增加时更为显著。
• 提出一种修改后的梯度更新规则，显式打破旋转对称性，从而加速收敛到最优表示。
• 通过实证验证，新更新规则在学习主成分方面显著快于标准正则化方案。

提出的方法

• 对LAE权重施加非均匀ℓ₂正则化，每个潜在维度使用不同的正则化强度，确保全局最小值对应于有序、轴对齐的主成分。
• 推导出一种确定性嵌套丢弃的变体，通过对称性破缺确保单个主成分的恢复。
• 在全局最小值处进行海森矩阵分析，量化病态性，表明随着潜在维度增加，曲率显著变差。
• 提出一种新型梯度更新规则，在标准梯度基础上增加一个旋转校正项，显式对齐潜在空间与主成分方向。
• 理论分析证明，增强后的梯度能全局驱动表示向轴对齐成分收敛，且具有局部线性收敛速率。
• 通过实证评估，比较了在MNIST数据上不同优化器（Adam、Nesterov、SGD）和正则化方案在不同潜在维度下的收敛速度。

实验结果

研究问题

• RQ1 在线性自编码器中，非均匀ℓ₂正则化能否确保精确恢复有序、轴对齐的主成分？
• RQ2 尽管重建误差快速衰减，为何梯度下降收敛到正确主成分对齐的速度仍然缓慢？
• RQ3 损失函数景观的海森矩阵病态性如何影响正则化LAE中的收敛速度？
• RQ4 一种考虑潜在空间旋转的修改后梯度更新规则能否显著加速收敛到最优表示？
• RQ5 所提出的更新规则是否能实现全局收敛，并且比标准正则化方案实现更快的学习？

主要发现

• 非均匀ℓ₂正则化确保LAE的所有全局最小值精确对应于输入数据的有序、轴对齐主成分。
• 非均匀ℓ₂正则化目标的海森矩阵存在病态性，尤其在潜在维度增加时更为显著，这解释了收敛到正确表示的缓慢过程。
• 确定性嵌套丢弃的变体也能恢复主成分，但因类似的病态性而面临相似的缓慢收敛问题。
• 所提出的梯度增强方法实现了对最优表示的局部线性收敛，且实证结果表明其学习速度相比标准方法最高可提升一个数量级。
• 即使在全局最小值处选择了最优ℓ₂惩罚权重，训练在早期阶段依然缓慢，表明正则化本身不足以实现高效对称性破缺。
• 在MNIST上的实证结果表明，新更新规则在不同优化器和潜在维度下均一致优于标准正则化方案，某些情况下收敛时间缩短至十分之一或更少。