[论文解读] Rounding Methods for Neural Networks with Low Resolution Synaptic Weights

Lorenz K. Müller, Giacomo Indiveri|arXiv (Cornell University)|Apr 22, 2015

Neural Networks and Applications参考文献 22被引用 47

一句话总结

本文提出两种新方法——随机化舍入和基于k-means的舍入，用于将高分辨率神经网络权重映射到低分辨率定点表示，显著优于标准舍入方法。这些方法使使用低至2比特权重的高效训练和推理成为可能，表明即使采用二值突触，也能支持有意义的网络性能，尤其是在使用在线随机化舍入或离线k-means压缩时。

ABSTRACT

Neural network algorithms simulated on standard computing platforms typically make use of high resolution weights, with floating-point notation. However, for dedicated hardware implementations of such algorithms, fixed-point synaptic weights with low resolution are preferable. The basic approach of reducing the resolution of the weights in these algorithms by standard rounding methods incurs drastic losses in performance. To reduce the resolution further, in the extreme case even to binary weights, more advanced techniques are necessary. To this end, we propose two methods for mapping neural network algorithms with high resolution weights to corresponding algorithms that work with low resolution weights and demonstrate that their performance is substantially better than standard rounding. We further use these methods to investigate the performance of three common neural network algorithms under fixed memory size of the weight matrix with different weight resolutions. We show that dedicated hardware systems, whose technology dictates very low weight resolutions (be they electronic or biological) could in principle implement the algorithms we study.

研究动机与目标

• 解决在硬件实现中，将高分辨率神经网络权重简单舍入为低分辨率定点表示所导致的性能下降问题。
• 探究神经网络算法在突触权重分辨率极低（如脉冲神经硬件和生物系统中所见）的情况下是否仍能有效运行。
• 开发算法映射技术，在降低权重精度时仍能保持网络性能，特别是降低至2比特或二值权重时。
• 在固定内存约束下，比较在线（与梯度下降兼容）和离线（训练后压缩）分辨率降低方法的有效性。

提出的方法

• 使用随机化舍入（RR）作为在线方法：在每个训练步骤中，权重根据其在ε-网格上的最近离散值进行概率性舍入，概率与到最近网格点的距离成正比。
• 应用基于k-means的离线方法：在完整训练后，使用k-means聚类将学习到的权重矩阵压缩为低分辨率码书，以最小化重建误差。
• 将两种方法与基线在线舍入方法进行比较，后者在每一步仅将权重更新舍入到最近可表示的值。
• 采用概率性舍入函数：对于权重值 $ a $，其舍入到较高或较低网格点的概率由 $ |a|/ϵ $ 的小数部分决定。
• 在相同内存预算（400比特）下比较不同比特分辨率（2至8比特）下的性能，评估模型在MNIST、DNA和RBM数据集上的准确率。
• 使用标准基准验证结果：MLP在MNIST上的表现，NADE在DNA上的表现，以及使用PCD-15训练的RBM在MNIST上的表现。

实验结果

研究问题

• RQ1 当使用先进舍入技术而非标准舍入将突触权重降低至2比特分辨率时，神经网络算法能否维持可接受的性能？
• RQ2 在固定内存预算下，随着权重精度降低，常见神经网络架构（MLP、NADE、RBM）的性能如何退化？
• RQ3 在训练期间使用在线随机化舍入与训练后使用离线k-means压缩相比，是否存在性能优势？
• RQ4 性能在何种权重分辨率下趋于稳定？进一步提升精度是否值得付出内存成本？
• RQ5 具有固有低分辨率或概率性突触的脉冲神经硬件能否有效实现标准神经网络算法？

主要发现

• 随机化舍入显著优于标准在线舍入，尤其在低分辨率（2–4比特）下，即使在2比特精度下仍能保持有意义的性能。
• 基于k-means的离线压缩方法在所有测试数据集和分辨率下，最终模型准确率均优于在线舍入和随机化舍入。
• 对于MNIST上的MLP，性能在约10比特分辨率时趋于稳定；进一步提高精度不再带来显著改善，表明内存更适合用于扩大隐藏层。
• 在DNA数据集上，MLP的最优分辨率在固定内存下为6比特/权重，表明精度与模型容量之间存在权衡。
• 即使使用2比特权重，经随机化舍入训练的RBM仍能生成可识别的手写数字样本，证明低分辨率权重仍可捕捉有意义的特征。
• 本研究表明，2比特权重已足以支持功能性神经网络运行，支持在脉冲神经硬件和生物神经网络模型中采用二值突触的可行性。