[论文解读] Orthogonal Over-Parameterized Training

Weiyang Liu, Rongmei Lin+6 more|arXiv (Cornell University)|Apr 9, 2020

Advanced Neural Network Applications参考文献 81被引用 4

一句话总结

该论文提出正交过参数化训练（OPT），一种新颖的框架，通过学习正交变换以维持最小的超球面能量（量化神经元在超球面上的多样性），从而提升神经网络的泛化能力。通过固定随机初始化的神经元权重并优化共享的正交矩阵，OPT可证明地最小化能量，并在泛化性能上优于标准训练方法。

ABSTRACT

The inductive bias of a neural network is largely determined by the architecture and the training algorithm. To achieve good generalization, how to effectively train a neural network is of great importance. We propose a novel orthogonal over-parameterized training (OPT) framework that can provably minimize the hyperspherical energy which characterizes the diversity of neurons on a hypersphere. By maintaining the minimum hyperspherical energy during training, OPT can greatly improve the empirical generalization. Specifically, OPT fixes the randomly initialized weights of the neurons and learns an orthogonal transformation that applies to these neurons. We consider multiple ways to learn such an orthogonal transformation, including unrolling orthogonalization algorithms, applying orthogonal parameterization, and designing orthogonality-preserving gradient descent. For better scalability, we propose the stochastic OPT which performs orthogonal transformation stochastically for partial dimensions of neurons. Interestingly, OPT reveals that learning a proper coordinate system for neurons is crucial to generalization. We provide some insights on why OPT yields better generalization. Extensive experiments validate the superiority of OPT over the standard training.

研究动机与目标

• 通过正交参数化引入新的归纳偏置，以改善过参数化神经网络的泛化性能。
• 解决现有训练方法中未能显式最小化超球面能量的问题，尽管其与泛化能力的关系已被广泛认知。
• 通过固定初始权重并优化正交变换，实现神经元权重学习与坐标系学习的解耦。
• 提供一种可扩展且可证明有效的超球面能量最小化方法，通过正交矩阵优化实现。
• 揭示学习神经元的合适坐标系对于泛化至关重要，而不仅仅是权重更新。

提出的方法

• 将每个神经元的权重分解为 w = Rv，其中 v 为随机初始化且固定的，R 为可学习的、层共享的正交矩阵。
• 使用展开的正交化算法（如 Gram-Schmidt、Householder、Löwdin）来学习 R，并实现隐式正则化。
• 采用正交参数化（如 Cayley 参数化）以实现 R 的高效且稳定的优化。
• 采用保持正交性的梯度下降法，在反向传播过程中维持 R 的正交性。
• 引入随机 OPT 方法，仅对部分神经元维度应用正交变换，以提升可扩展性。
• 在训练前通过最小化随机权重的超球面能量对权重进行预处理，以增强初始神经元的分离度。

实验结果

研究问题

• RQ1 学习神经元权重的正交变换是否可证明地最小化超球面能量并提升泛化性能？
• RQ2 将权重幅值与坐标系学习解耦后，对归纳偏置和泛化性能有何影响？
• RQ3 在 OPT 框架中，不同正交化方法（如展开式、参数化、梯度保持型）的相对优势为何？
• RQ4 在训练前最小化随机初始化权重的超球面能量是否能提升下游性能？
• RQ5 随机 OPT 如何在提升可扩展性的同时保持性能？

主要发现

• OPT 通过学习正交变换 R 可证明地最小化超球面能量，当 v 随机初始化时，其期望能量达到最小。
• 实验表明，即使训练损失相近，OPT 的泛化性能显著优于标准训练。
• 该框架通过学习一个能增强神经元在超球面上多样性与分离度的坐标系（R），从而改善泛化性能。
• 对随机权重进行超球面能量最小化预处理，可获得更优的初始配置并加快收敛速度。
• 随机 OPT 在降低计算成本的同时保持了强劲性能，使大规模模型的可扩展性成为可能。
• 不同正交化方法（如对称型与 Householder 型）会引入不同的隐式正则化，从而影响最终模型性能。