[论文解读] Soft-to-Hard Vector Quantization for End-to-End Learned Compression of Images and Neural Networks.

Eirikur Agustsson, Fabian Mentzer+5 more|arXiv (Cornell University)|Apr 3, 2017

Image and Signal Denoising Methods参考文献 22被引用 24

一句话总结

本文提出了一种从软到硬的向量量化方法，通过逐步退火从可微分的软量化到离散的硬量化，实现了图像和神经网络压缩的端到端训练。该方法通过可微分地松弛熵和量化，学习紧凑且可压缩的表征，在图像压缩和模型压缩任务中均实现了最先进性能。

ABSTRACT

In this work we present a new approach to learn compressible representations in deep architectures with an end-to-end training strategy. Our method is based on a soft relaxation of quantization and entropy, which we anneal to their discrete counterparts throughout training. We showcase this method for two challenging applications: Image compression and neural network compression. While these tasks have typically been approached with different methods, our soft-to-hard quantization approach gives state-of-the-art results for both.

研究动机与目标

• 开发一种统一的、可端到端训练的方法，用于深度网络中可压缩表征的学习。
• 通过使用软松弛方法，解决使用反向传播训练离散向量量化层的挑战。
• 使用单一共享的训练策略，提升图像压缩和神经网络压缩任务中的压缩性能。
• 证明该方法可在两种不同但相关的压缩应用中实现最先进结果。

提出的方法

• 该方法使用向量量化和熵的软松弛，允许在反向传播期间梯度流动。
• 在训练过程中，通过调度逐步将软松弛退火为硬离散量化。
• 软量化通过可微分的软分配到码本向量来实现。
• 在训练期间，使用可微分的代理近似码本索引的熵。
• 该方法实现了特征编码器和量化模块的端到端优化。
• 该方法应用于图像压缩和神经网络权重量化，共享组件。

实验结果

研究问题

• RQ1 对量化和熵的软松弛是否能够实现离散压缩模块的端到端训练？
• RQ2 软到硬的退火策略是否能提升图像和神经网络压缩中的压缩性能？
• RQ3 单一方法是否能在图像压缩和模型压缩任务中均实现最先进结果？
• RQ4 对硬量化进行可微分松弛如何影响压缩的质量与率失真权衡？

主要发现

• 所提方法在使用端到端训练的图像压缩中实现了最先进率失真性能。
• 该方法提升了神经网络权重的压缩效率，实现了低比特率表示下的高精度模型。
• 软到硬的退火策略使通过离散量化层的有效反向传播成为可能。
• 该方法在不同压缩任务中具有泛化能力，在图像压缩和模型压缩中均表现出一致的性能提升。
• 该方法优于先前在图像和模型压缩中分别使用不同训练策略的方法。
• 结果表明，对量化和熵的可微分松弛能够实现高质量、可学习的压缩，且仅需极少的架构修改。