[论文解读] Optimization Algorithm Inspired Deep Neural Network Structure Design

Huan Li, Yibo Yang+2 more|arXiv (Cornell University)|Oct 3, 2018

Advanced Neural Network Applications参考文献 32被引用 11

一句话总结

本文提出了一种受优化算法启发的新型深度神经网络结构设计框架，表明具有共享线性变换的前馈网络等价于执行梯度下降，而用更快速的方法（如动量法和Nesterov加速梯度）替代梯度下降可获得性能更优的模型。由此提出的HB-Net和AGD-Net架构在CIFAR-10、CIFAR-100和ImageNet上均优于ResNet和DenseNet，错误率更低且训练更稳定，尤其在更深网络中表现更优。

ABSTRACT

Deep neural networks have been one of the dominant machine learning approaches in recent years. Several new network structures are proposed and have better performance than the traditional feedforward neural network structure. Representative ones include the skip connection structure in ResNet and the dense connection structure in DenseNet. However, it still lacks a unified guidance for the neural network structure design. In this paper, we propose the hypothesis that the neural network structure design can be inspired by optimization algorithms and a faster optimization algorithm may lead to a better neural network structure. Specifically, we prove that the propagation in the feedforward neural network with the same linear transformation in different layers is equivalent to minimizing some function using the gradient descent algorithm. Based on this observation, we replace the gradient descent algorithm with the heavy ball algorithm and Nesterov's accelerated gradient descent algorithm, which are faster and inspire us to design new and better network structures. ResNet and DenseNet can be considered as two special cases of our framework. Numerical experiments on CIFAR-10, CIFAR-100 and ImageNet verify the advantage of our optimization algorithm inspired structures over ResNet and DenseNet.

研究动机与目标

• 基于优化算法动力学建立深度神经网络结构的统一设计原则。
• 探究更快的优化算法是否能启发性能更优的神经网络架构。
• 形式化标准前馈网络与函数最小化中梯度下降之间的等价性。
• 通过用加速优化方法替代梯度下降，设计新型网络结构——HB-Net和AGD-Net。
• 在标准基准（CIFAR-10、CIFAR-100、ImageNet）上验证所提框架，展示性能提升与训练稳定性。

提出的方法

• 证明具有层间相同线性变换的前馈网络在数学上等价于对损失函数执行梯度下降。
• 用更快的优化算法替代标准梯度下降：动量法与Nesterov加速梯度下降。
• 通过将每一层建模为动量法或加速梯度算法的一步，设计新型网络结构——HB-Net和AGD-Net。
• 通过调整递推结构与跳跃连接，确保新架构能泛化ResNet与DenseNet作为特例。
• 采用标准训练协议（带Nesterov动量的SGD、权重衰减、Xavier初始化）实现公平比较。
• 使用与基线模型（ResNet与DenseNet）相同的超参数与训练调度，以隔离架构设计的影响。

实验结果

研究问题

• RQ1 深度神经网络架构的设计能否系统性地由优化算法原理指导？
• RQ2 具有共享权重的标准前馈网络与经典梯度下降之间是否存在形式等价性？
• RQ3 更快的优化算法（如动量法与Nesterov方法）是否能带来性能更优的神经网络架构？
• RQ4 所得到的架构（HB-Net与AGD-Net）在准确率与训练稳定性方面是否能超越ResNet与DenseNet？
• RQ5 所提框架是否能泛化至更深网络与更大规模数据集（如ImageNet）？

主要发现

• HB-Net与AGD-Net在CIFAR-10与CIFAR-100上的错误率低于ResNet与DenseNet，AGD-Net在L=52时将CIFAR-100的Top-1错误率降低0.3%。
• 在CIFAR-100上，L=52时AGD-Net实现23.84%的错误率，优于DenseNet（24.33%），提升0.49%。
• HB-Net在深度110（n=18）时在CIFAR-10上实现8.66%错误率，优于ResNet-110（9.17%），提升0.51%。
• HB-Net展现出更优的训练稳定性：即使在深度110时，也能在标准训练策略下可靠收敛，而ResNet-110需预热与多次训练尝试。
• 在ImageNet上，AGD-Net-121实现24.62%的Top-1错误率，优于DenseNet-121（25.02%）；HB-Net-34实现26.33%的Top-1错误率，优于ResNet-34（26.73%）。
• 所提框架成功将ResNet与DenseNet作为特例泛化，验证了其理论基础与架构灵活性。