[论文解读] Symmetry-invariant optimization in deep networks

Vijay Badrinarayanan, Bamdev Mishra+1 more|arXiv (Cornell University)|Nov 5, 2015

Neural Networks and Applications参考文献 23被引用 11

一句话总结

本文通过在滤波器权重上施加单位范数约束或使用尺度不变度量，提出了一种对称性不变的随机梯度下降（SGD）更新方法，无需计算开销即可提升深度神经网络的测试准确率。在MNIST和SegNet上的实验结果表明，该方法在批量归一化设置下性能优于标准SGD，主要得益于更优的梯度流动性和对权重重参数化的不变性。

ABSTRACT

Recent works have highlighted scale invariance or symmetry that is present in the weight space of a typical deep network and the adverse effect that it has on the Euclidean gradient based stochastic gradient descent optimization. In this work, we show that these and other commonly used deep networks, such as those which use a max-pooling and sub-sampling layer, possess more complex forms of symmetry arising from scaling based reparameterization of the network weights. We then propose two symmetry-invariant gradient based weight updates for stochastic gradient descent based learning. Our empirical evidence based on the MNIST dataset shows that these updates improve the test performance without sacrificing the computational efficiency of the weight updates. We also show the results of training with one of the proposed weight updates on an image segmentation problem.

研究动机与目标

• 解决权重空间对称性（如尺度不变性）对深度网络中标准欧几里得梯度下降的负面影响。
• 识别出常用于最大池化和批量归一化的架构中存在超越简单尺度不变性的复杂对称性。
• 设计计算高效的对称性不变权重更新规则，保持与标准SGD相同的计算成本。
• 通过在分类和分割任务上的实证评估，展示改进的泛化能力和训练稳定性。
• 表明对称性不变更新即使在更深网络中也能优于标准SGD，暗示其在构建更浅、更高效架构方面的潜力。

提出的方法

• 提出两种对称性不变的SGD更新规则：(1) 将滤波器权重归一化为单位范数（UN），以及(2) 基于分块对角Fisher信息近似推导出的尺度不变度量更新（SM）。
• 从权重流形的几何视角出发构建更新规则，确保对保持损失函数不变的重参数化变换具有不变性。
• 在标准SGD框架中实现这些更新，仅需在反向传播过程中进行归一化或基于度量的梯度缩放，改动极小。
• 将更新规则应用于全连接和卷积网络，激活函数为ReLU，包含最大池化和批量归一化，以模拟SegNet等真实世界架构。
• 使用MATLAB中的Manopt优化库在MNIST和CamVid分割数据集上实现并测试所提出的更新方法。
• 将更新规则与标准学习率调度策略（如bold driver、指数衰减）结合，评估其在不同训练协议下的泛化性能。

实验结果

研究问题

• RQ1 在包含最大池化和批量归一化的深层网络中，超越简单尺度不变性的复杂权重空间对称性如何影响优化轨迹？
• RQ2 能否设计出既有效又计算高效的对称性不变梯度更新方法，适用于标准SGD？
• RQ3 与标准SGD相比，对称性不变更新在图像分类和分割任务上的泛化性能提升程度如何？
• RQ4 对滤波器施加单位范数约束是否能改善梯度流动并降低对权重重参数化的敏感性？
• RQ5 对称性不变优化是否能通过改善浅层网络的训练动态，从而减少对更深架构的依赖？

主要发现

• 与标准SGD相比，所提出的对称性不变更新（SM和UN）在MNIST上显著提升了测试准确率，其中UN结合bold driver学习率策略实现了最低的平均测试误差。
• 在含批量归一化的四层Arch2网络中，SM和UN优于使用指数衰减的B-SGD，实现了更低的平均和标准差测试误差。
• 在两层Arch1网络中，UN结合bold driver策略的性能超越了使用指数衰减的四层Arch1网络中的B-SGD，表明优化效率得到提升。
• SM和UN的使用带来了更优的梯度反向传播，表现为训练过程中误差轨迹更稳定且更低。
• 在CamVid图像分割任务中对SegNet的定性结果表明，UN更新能生成接近真实标签的高质量语义分割预测，验证了该方法在真实应用中的有效性。
• 对称性不变更新起到了隐式正则化作用，提升了性能，且无需引入如权重衰减等额外超参数。