[论文解读] Sigma Delta Quantized Networks

Peter O’Connor, Max Welling|arXiv (Cornell University)|Nov 7, 2016

Advanced Neural Network Applications参考文献 12被引用 11

一句话总结

本文提出Sigma-Delta量化网络，一种通过仅在层间传输神经元激活的离散变化而非完整激活值来降低深度学习计算成本的方法。通过四舍五入时间差并优化准确率与计算之间的权衡，该方法在视频数据上实现了高达10倍的计算量减少，同时保持了较高的分类准确率。

ABSTRACT

Deep neural networks can be obscenely wasteful. When processing video, a convolutional network expends a fixed amount of computation for each frame with no regard to the similarity between neighbouring frames. As a result, it ends up repeatedly doing very similar computations. To put an end to such waste, we introduce Sigma-Delta networks. With each new input, each layer in this network sends a discretized form of its change in activation to the next layer. Thus the amount of computation that the network does scales with the amount of change in the input and layer activations, rather than the size of the network. We introduce an optimization method for converting any pre-trained deep network into an optimally efficient Sigma-Delta network, and show that our algorithm, if run on the appropriate hardware, could cut at least an order of magnitude from the computational cost of processing video data.

研究动机与目标

• 解决标准深度神经网络对每个输入帧均以固定计算量处理的低效问题，无论输入相似性如何。
• 通过设计一种计算量随输入变化而非网络规模变化的网络，利用视频数据中的时间冗余性。
• 开发一种将预训练网络转换为计算高效Sigma-Delta网络的方法，且准确率下降最小。
• 通过使计算量与输入变化成比例，实现在分布式或基于传感器的神经网络中实现高效异步更新。

提出的方法

• 通过将全精度激活前向传播替换为连续输入间激活时间差的离散量化，修改预训练的深度网络。
• 在时间步长之间激活差值上引入四舍五入操作，以实现在层间稀疏且低精度的通信。
• 为每层应用缩放参数，以平衡计算成本与网络准确率之间的权衡。
• 使用可微目标函数联合优化缩放参数与网络权重，以平衡重建误差与计算成本。
• 在训练期间使用均匀随机噪声以稳定优化过程，并防止因四舍五入导致的激活值坍塌。
• 将预训练的VGG-16网络转换为Sigma-Delta网络，同时保持其功能并减少计算量。

实验结果

研究问题

• RQ1 能否通过仅传输量化后的激活差值，使深度神经网络对输入变化具有计算自适应性？
• RQ2 如何高效地将预训练网络转换为Sigma-Delta网络，且准确率损失最小？
• RQ3 此类系统中计算成本与准确率之间的权衡是什么？如何实现优化？
• RQ4 该方法能否在时间冗余数据（如视频）上显著降低计算量，同时不牺牲分类性能？
• RQ5 尽管网络内部状态依赖历史，为何网络在仅使用激活的离散变化而非完整激活值时仍能保持功能？

主要发现

• 在静态视频片段（运动极少）中，Sigma-Delta网络的计算量约为原始VGG-16网络的1/11。
• 在更动态的视频片段中，与原始网络相比，计算量减少了约四倍。
• 该方法在视频数据上实现了高达10倍的计算成本削减，如在ILSVRC 2015数据集上所展示。
• 网络保持了高分类准确率：在几乎所有帧上，Sigma-Delta网络的预测结果均位于原始VGG-16网络的前五名预测中。
• 在时间t的输出仅依赖于当前输入，而不依赖于过去的网络状态，尽管网络内部状态是历史相关的。
• 在训练期间添加均匀随机噪声可稳定优化过程，并防止因四舍五入导致激活值坍塌至零。