[论文解读] Weight Sharing is Crucial to Succesful Optimization

Shai Shalev‐Shwartz, Ohad Shamir+1 more|arXiv (Cornell University)|Jun 2, 2017

Machine Learning and Data Classification参考文献 14被引用 8

一句话总结

本文表明，权重共享在卷积神经网络中对通过梯度下降实现成功优化至关重要，尤其是在目标函数包含低频分量时。理论分析与实验表明，即使在频谱组成有利的情况下，若无权重共享，优化仍会失败，从而在收敛速度方面建立了卷积与全连接架构之间的计算分离。

ABSTRACT

Exploiting the great expressive power of Deep Neural Network architectures, relies on the ability to train them. While current theoretical work provides, mostly, results showing the hardness of this task, empirical evidence usually differs from this line, with success stories in abundance. A strong position among empirically successful architectures is captured by networks where extensive weight sharing is used, either by Convolutional or Recurrent layers. Additionally, characterizing specific aspects of different tasks, making them "harder" or "easier", is an interesting direction explored both theoretically and empirically. We consider a family of ConvNet architectures, and prove that weight sharing can be crucial, from an optimization point of view. We explore different notions of the frequency, of the target function, proving necessity of the target function having some low frequency components. This necessity is not sufficient - only with weight sharing can it be exploited, thus theoretically separating architectures using it, from others which do not. Our theoretical results are aligned with empirical experiments in an even more general setting, suggesting viability of examination of the role played by interleaving those aspects in broader families of tasks.

研究动机与目标

• 理解尽管存在非凸性，梯度下降为何在训练深层网络时仍能成功。
• 识别在简单卷积网络架构中优化成功或失败的条件。
• 正式确立权重共享对于优化包含低频分量的目标函数的必要性。
• 展示卷积与全连接架构在优化效率方面的计算分离。

提出的方法

• 作者分析了一个包含一个卷积层后接ReLU激活的全连接层的两层卷积网络。
• 他们将目标函数建模为卷积特征提取器与分类器的复合函数，并在其中一个组件固定时研究优化过程。
• 利用R^k上的傅里叶分析，他们刻画了分类器函数g*的频率成分。
• 他们证明，若g*同时包含低频与高频分量，则只有在存在权重共享时，梯度下降才能学习卷积层h*。
• 他们比较了在权重共享（卷积）与非共享（全连接）架构上梯度下降的收敛行为。
• 他们提供了收敛时间的理论界，表明当缺乏权重共享时，迭代复杂度存在指数级差距。

实验结果

研究问题

• RQ1 在何种目标函数条件下，梯度下降能够成功优化卷积神经网络？
• RQ2 为何即使目标函数具有有利的频谱特性，权重共享对优化成功仍至关重要？
• RQ3 能否在优化效率方面建立卷积与全连接架构之间的计算分离？
• RQ4 梯度下降的成功是否依赖于目标函数中存在低频分量？
• RQ5 低频分量与权重共享的组合是否唯一使优化成为可能，还是任一条件单独存在即可？

主要发现

• 权重共享是梯度下降优化包含低频分量的目标函数的必要条件；若无权重共享，即使目标函数频谱特性有利，优化仍会失败。
• 当分类器函数g*同时包含低频与高频分量时，只有在使用权重共享的情况下，梯度下降才能学习卷积层h*。
• 在相同频谱条件下，权重共享与全连接架构之间存在收敛时间的指数级差距。
• 理论分析表明，当存在权重共享时，收敛时间在1/ε和k上为多项式时间；而当缺乏权重共享时，收敛时间呈指数增长。
• 实验结果证实，即使在h*与g*同时学习的设定下（而不仅是在一个组件固定的情况下），理论发现依然成立。
• 本研究在优化性能方面，正式建立了卷积与全连接架构之间的计算分离。