[论文解读] Weightless: Lossy Weight Encoding For Deep Neural Network Compression

Brandon Reagen, Udit Gupta+5 more|arXiv (Cornell University)|Nov 13, 2017

Advanced Data Compression Techniques被引用 28

一句话总结

Weightless 提出了一种新颖的、有损的权重编码方案，利用 Bloomier filter 对深度神经网络进行压缩，可在不损失精度的情况下实现高达 496× 的压缩率。通过结合权重剪枝与聚类，并采用概率编码，其压缩效率比当前最先进的方法（如 Deep Compression）高出 1.51×。

ABSTRACT

The large memory requirements of deep neural networks limit their deployment and adoption on many devices. Model compression methods effectively reduce the memory requirements of these models, usually through applying transformations such as weight pruning or quantization. In this paper, we present a novel scheme for lossy weight encoding which complements conventional compression techniques. The encoding is based on the Bloomier filter, a probabilistic data structure that can save space at the cost of introducing random errors. Leveraging the ability of neural networks to tolerate these imperfections and by re-training around the errors, the proposed technique, Weightless, can compress DNN weights by up to 496x with the same model accuracy. This results in up to a 1.51x improvement over the state-of-the-art.

研究动机与目标

• 降低深度神经网络在资源受限设备上部署时的内存占用和带宽需求。
• 探索超越传统剪枝与量化技术的、利用 DNN 权重冗余性的有损编码技术。
• 开发一种能随模型稀疏度增加而高效扩展的压缩方案。
• 证明概率数据结构（如 Bloomier filter）可有效用于高倍率 DNN 权重编码。
• 相比现有最先进方法（如 Deep Compression），实现更优的压缩率。

提出的方法

• 利用 Bloomier filter（一种概率数据结构）对 DNN 权重进行有损编码，通过存储函数映射并控制误差率。
• 在预处理阶段应用权重剪枝与聚类，以简化权重并使其更符合 Bloomier filter 的特性。
• 通过微调（retraining）缓解由 Bloomier filter 近似引入的误差，从而保持模型精度。
• 对 Bloomier filter 表示形式使用算术编码，并对 CSR 格式使用 Huffman 编码，进一步压缩编码后的权重。
• 独立于非零权重数量控制 Bloomier filter 中的误报率，从而实现可扩展的压缩。
• 通过调整滤波器参数优化编码过程，在存储节省与误差容忍度之间实现平衡。

实验结果

研究问题

• RQ1 使用 Bloomier filter 等概率数据结构进行有损编码，是否能在不造成精度下降的前提下实现 DNN 权重的高倍率压缩？
• RQ2 与现有方法相比，Weightless 的压缩性能在模型稀疏度增加时如何变化？
• RQ3 微调在多大程度上能缓解由 Bloomier filter 近似在 DNN 权重中引入的误差？
• RQ4 与当前最先进的压缩技术（如 Deep Compression）相比，Weightless 的相对优势如何？
• RQ5 Bloomier filter 是否能与权重简化技术（如剪枝与聚类）有效结合，用于 DNN 压缩？

主要发现

• Weightless 在 LeNet5 的 FC-0 层上实现了高达 496× 的压缩率，且模型精度无损失。
• 该方法在压缩率上相比最先进方法（Deep Compression）最高提升 1.51×，尤其在高度稀疏模型上表现更优。
• 与 Deep Compression 相比，Weightless 在模型稀疏度增加时展现出显著更优的可扩展性，尤其在更激进的剪枝设置下性能更优。
• 在微调后，Bloomier filter 编码使 LeNet-300-100 模型的 top-1 准确率提升了 2.0 个百分点，证明了误差缓解的有效性。
• 对 Bloomier filter 使用算术编码，对 CSR 表示使用 Huffman 编码，可进一步减小编码后尺寸，提升传输与存储效率。
• 即使在激进剪枝后，该方法依然有效，表明残余权重冗余支持高精度的有损编码。