[论文解读] Understanding Synthetic Gradients and Decoupled Neural Interfaces

Wojciech Marian Czarnecki, Grzegorz Świrszcz+4 more|arXiv (Cornell University)|Mar 1, 2017

Neural Networks and Applications参考文献 11被引用 28

一句话总结

本文研究了合成梯度（SGs）和解耦神经接口（DNIs），证明在线性模型和深度线性模型中，SGs 保留了临界点和收敛性，同时实现了异步、非锁定训练。尽管功能表现完全相同，但使用 SGs 训练的网络与反向传播训练的网络在内部表征上存在显著差异，作者将 SG 与反馈对齐（Feedback Alignment）和直接反馈对齐（Direct Feedback Alignment）等方法统一于同一框架之下。

ABSTRACT

When training neural networks, the use of Synthetic Gradients (SG) allows layers or modules to be trained without update locking - without waiting for a true error gradient to be backpropagated - resulting in Decoupled Neural Interfaces (DNIs). This unlocked ability of being able to update parts of a neural network asynchronously and with only local information was demonstrated to work empirically in Jaderberg et al (2016). However, there has been very little demonstration of what changes DNIs and SGs impose from a functional, representational, and learning dynamics point of view. In this paper, we study DNIs through the use of synthetic gradients on feed-forward networks to better understand their behaviour and elucidate their effect on optimisation. We show that the incorporation of SGs does not affect the representational strength of the learning system for a neural network, and prove the convergence of the learning system for linear and deep linear models. On practical problems we investigate the mechanism by which synthetic gradient estimators approximate the true loss, and, surprisingly, how that leads to drastically different layer-wise representations. Finally, we also expose the relationship of using synthetic gradients to other error approximation techniques and find a unifying language for discussion and comparison.

研究动机与目标

• 理解合成梯度（SGs）和解耦神经接口（DNIs）对神经网络训练在功能、表征和优化动力学方面的影响。
• 确定 SGs 是否改变了前馈网络中原始优化问题的临界点。
• 研究基于 SG 的训练在简单和复杂模型中的收敛特性。
• 比较使用 SGs 与标准反向传播训练的网络在内部表征和功能分解方面的差异。
• 基于梯度预测，将多种误差近似技术（如反馈对齐、直接反馈对齐和 Kickback）统一于同一理论框架之下。

提出的方法

• 作者引入一个合成梯度模块，利用局部信息预测损失的真实梯度，从而实现无需等待完整反向传播的异步权重更新。
• 他们通过在梯度预测误差上使用独立损失，与主网络联合训练合成梯度网络。
• 在理论分析中，他们在特定假设下证明了在线性模型和深度线性模型中，学习系统使用合成梯度时的收敛性。
• 他们通过实证评估 SGs 对深层前馈网络中表征学习的影响，比较各层激活和功能分解。
• 他们通过将不同目标函数和参数化方式下的合成梯度模型作为特例，形式化构建了一个统一框架，涵盖多种误差近似方法（FA、DFA、KB）。
• 他们将框架扩展至包含反向传播，通过建模 SG 模块以预测真实梯度的负值，从而将标准反向传播作为特例嵌入其中。

实验结果

研究问题

• RQ1 在神经网络中引入合成梯度是否会改变原始优化问题的临界点？
• RQ2 我们能否证明在使用合成梯度而非真实梯度时，学习系统的收敛性，特别是在线性模型和深度线性模型中？
• RQ3 使用合成梯度训练的网络与使用标准反向传播训练的网络在内部表征和功能分解方面有何异同？
• RQ4 合成梯度与其他误差近似技术（如反馈对齐、直接反馈对齐和 Kickback）之间存在何种关系？
• RQ5 我们能否基于梯度预测，将这些多样化的技术统一于一个统一的理论框架之下？

主要发现

• 当使用合成梯度时，原始优化问题的临界点被保留，尽管可能引入新的临界点，表明 SGs 并非典型的正则化器。
• 在线性模型和深度线性模型中，作者证明在适当条件下，使用合成梯度的学习系统会收敛到与使用真实梯度相似的解。
• 尽管功能表现完全相同，但使用合成梯度训练的网络与使用反向传播训练的网络在内部表征上表现出定性不同的特征，表明其功能分解存在差异。
• 使用合成梯度可实现非锁定训练，即各模块可异步且独立地更新，这一特性是反馈对齐及其相关方法所不具备的。
• 作者通过将不同目标函数和参数化方式下的合成梯度模型作为特例，将反馈对齐、直接反馈对齐、Kickback 和标准反向传播统一于同一框架之下。
• 在更新规则中包含合成梯度损失的梯度（SG+prop）可显著稳定学习过程，表明良好的梯度预测意味着良好的损失和输出预测，即使没有完整的反向传播。