[论文解读] Recursive Binary Neural Network Learning Model with 2.28b/Weight Storage Requirement

Tianchan Guan, Xiaoyang Zeng+1 more|arXiv (Cornell University)|Sep 15, 2017

Advanced Memory and Neural Computing参考文献 21被引用 6

一句话总结

该论文提出了一种递归二值神经网络（R-BNN）学习模型，通过在训练过程中递归复用突触权重存储空间，将每参数的权重存储减少至2.28比特。该方法使在片上实现更深网络的训练成为可能，具有更低的能耗、更少的片外内存访问次数，并且在相同存储约束下，分类错误率比传统使用8–16比特/权重的二值模型降低了1%。

ABSTRACT

This paper presents a storage-efficient learning model titled Recursive Binary Neural Networks for sensing devices having a limited amount of on-chip data storage such as < 100's kilo-Bytes. The main idea of the proposed model is to recursively recycle data storage of synaptic weights (parameters) during training. This enables a device with a given storage constraint to train and instantiate a neural network classifier with a larger number of weights on a chip and with a less number of off-chip storage accesses. This enables higher classification accuracy, shorter training time, less energy dissipation, and less on-chip storage requirement. We verified the training model with deep neural network classifiers and the permutation-invariant MNIST benchmark. Our model uses only 2.28 bits/weight while for the same data storage constraint achieving ~1% lower classification error as compared to the conventional binary-weight learning model which yet has to use 8 to 16 bit storage per weight. To achieve the similar classification error, the conventional binary model requires ~4x more data storage for weights than the proposed model.

研究动机与目标

• 解决在片上内存有限（例如<100 KB）的资源受限传感设备上训练深度神经网络的挑战。
• 在训练过程中减少突触权重的存储占用，以最小化片外内存访问次数和能耗。
• 通过优化权重存储效率，实现在片上实现更高的分类准确率和更快的训练速度。

提出的方法

• 引入一种递归权重更新机制，使反向传播过程中多个权重更新复用同一片上内存位置。
• 应用二值权重量化（±1），将每参数存储从32位浮点数大幅减少至1比特。
• 实施一种权重复用策略，将中间梯度和权重值覆盖存储于同一内存空间，以最小化存储占用。
• 使用一种改进的随机梯度下降（SGD）更新规则，支持权重存储位置的迭代复用。
• 将该方法应用于在排列不变MNIST基准上训练的深度神经网络分类器。
• 通过仔细管理递归流水线中权重更新的顺序与时机，确保模型收敛与准确率。

实验结果

研究问题

• RQ1 是否能在显著降低片上权重存储（例如<2.5比特/权重）的同时，不牺牲分类准确率？
• RQ2 在低内存设备中，递归权重存储复用对训练时间、能效和模型准确率有何影响？
• RQ3 当仅使用2.28比特/权重时，二值权重网络能否实现与8–16比特模型相当或更优的性能？
• RQ4 在递归权重更新方案中，内存效率与收敛稳定性之间的权衡如何？
• RQ5 在相同约束条件下，与传统二值神经网络相比，该方法在错误率和存储需求方面表现如何？

主要发现

• R-BNN模型的存储需求仅为每权重2.28比特，显著低于传统二值模型所用的8–16比特/权重。
• 尽管压缩程度极高，该模型在相同存储约束下的测试错误率仍比传统二值权重模型低约1%。
• 与实现相似准确率的传统二值模型相比，该方法可将片外内存访问次数减少最多4倍。
• 由于缓解了内存瓶颈，该模型使更深网络的片上训练成为可能，并实现了更高的分类准确率。
• 递归权重复用机制在排列不变MNIST基准上保持了模型的收敛性与泛化性能。