[论文解读] The ZipML Framework for Training Models with End-to-End Low Precision: The Cans, the Cannots, and a Little Bit of Deep Learning

Hantian Zhang, Li, Jerry+4 more|arXiv (Cornell University)|Nov 16, 2016

Machine Learning and Data Classification参考文献 28被引用 15

一句话总结

ZipML 提出了一种框架，通过双采样技术消除梯度估计偏差，实现机器学习模型的端到端低精度训练，实现可证明的收敛性，且精度损失最小。该框架在 FPGA 上实现了最高 6.5 倍的加速，数据移动减少 2.7 倍，8 位精度通常足以使线性与非线性模型收敛。

ABSTRACT

Recently there has been significant interest in training machine-learning models at low precision: by reducing precision, one can reduce computation and communication by one order of magnitude. We examine training at reduced precision, both from a theoretical and practical perspective, and ask: is it possible to train models at end-to-end low precision with provable guarantees? Can this lead to consistent order-of-magnitude speedups? We present a framework called ZipML to answer these questions. For linear models, the answer is yes. We develop a simple framework based on one simple but novel strategy called double sampling. Our framework is able to execute training at low precision with no bias, guaranteeing convergence, whereas naive quantization would introduce significant bias. We validate our framework across a range of applications, and show that it enables an FPGA prototype that is up to 6.5x faster than an implementation using full 32-bit precision. We further develop a variance-optimal stochastic quantization strategy and show that it can make a significant difference in a variety of settings. When applied to linear models together with double sampling, we save up to another 1.7x in data movement compared with uniform quantization. When training deep networks with quantized models, we achieve higher accuracy than the state-of-the-art XNOR-Net. Finally, we extend our framework through approximation to non-linear models, such as SVM. We show that, although using low-precision data induces bias, we can appropriately bound and control the bias. We find in practice 8-bit precision is often sufficient to converge to the correct solution. Interestingly, however, in practice we notice that our framework does not always outperform the naive rounding approach. We discuss this negative result in detail.

研究动机与目标

• 解决在保持收敛性保证的前提下，以低精度训练机器学习模型的挑战。
• 克服在随机优化过程中，对数据、梯度和模型参数进行简单量化所引入的偏差。
• 开发一种支持输入样本、梯度和模型权重端到端量化的框架，并具备理论保证。
• 通过重读启发式方法控制近似误差，将该框架扩展至非线性模型（如 SVM）。
• 在实际应用中展示显著的加速效果和减少的数据移动，包括 FPGA 原型和断层扫描重建。

提出的方法

• 提出双采样作为一项新策略，以消除量化条件下由相关性引起的梯度估计偏差。
• 通过方差分析表明，当每样本使用 Θ(log n / σ) 位时，端到端量化仅使总体方差增加一个常数因子。
• 设计一种方差最优的随机量化策略（AdaQuant），以最小化量化区间内的误差。
• 将近端梯度更新与量化后的梯度和模型参数结合，以在正则化优化中保持收敛性。
• 在 FPGA 上实现该框架，评估硬件性能，使用 32 位、16 位、8 位、4 位和 2 位精度的变体。
• 在非线性模型中应用重读启发式方法，当量化值引入误差时重新读取原始数据以减少偏差。

实验结果

研究问题

• RQ1 是否可以对线性模型实现端到端的低精度训练，并保证收敛性？
• RQ2 在低精度训练中，保持无偏梯度估计所需的最少位数是多少？
• RQ3 与均匀量化相比，方差最优量化在减少数据移动和提升收敛性方面表现如何？
• RQ4 该框架能否扩展至非线性模型（如 SVM），同时控制近似偏差？
• RQ5 与全精度实现相比，FPGA 上的低精度训练是否能带来显著的加速？

主要发现

• 双采样技术可在低精度训练中实现无偏梯度估计，使模型收敛至与全精度 SGD 相同的解。
• 对于线性模型，5–6 位精度已足够实现与 32 位全精度相当的收敛速率和最终训练损失。
• 使用 ZipML 的 FPGA 原型相比 32 位精度实现和运行 Hogwild! 的 10 核 CPU，最高可实现 6.5 倍加速。
• 在断层扫描重建中，该框架将数据移动减少最多 2.7 倍，且质量损失可忽略不计。
• 与均匀量化相比，方差最优量化（AdaQuant）在线性模型中将数据移动减少 1.7 倍。
• 对于 SVM，使用 8 位量化并结合重读机制时，仅需重读 6% 的数据，即可实现与全精度相当的测试准确率和收敛速率。