[论文解读] Universally Quantized Neural Compression

Eirikur Agustsson, Lucas Theis|arXiv (Cornell University)|Jun 17, 2020

Neural Networks and Applications参考文献 32被引用 45

一句话总结

作者提出使用通用量化来实现一个可微分的、训练-测试匹配的通信通道，用于神经图像压缩，包括一个软舍入方法在均匀噪声与硬量化之间插值；他们在线性模型和超先验模型上展示了经验收益。

ABSTRACT

A popular approach to learning encoders for lossy compression is to use additive uniform noise during training as a differentiable approximation to test-time quantization. We demonstrate that a uniform noise channel can also be implemented at test time using universal quantization (Ziv, 1985). This allows us to eliminate the mismatch between training and test phases while maintaining a completely differentiable loss function. Implementing the uniform noise channel is a special case of the more general problem of communicating a sample, which we prove is computationally hard if we do not make assumptions about its distribution. However, the uniform special case is efficient as well as easy to implement and thus of great interest from a practical point of view. Finally, we show that quantization can be obtained as a limiting case of a soft quantizer applied to the uniform noise channel, bridging compression with and without quantization.

研究动机与目标

• 通过消除不可微分的量化来减少端到端神经压缩中的训练-测试不匹配的动机。
• 引入通用量化作为一种高效、可微分的测试时通道。
• 将量化与软量化桥接，以便在从软量化转向硬量化的退火中实现平滑过渡、并潜在获得收益。
• 研究梯度估计技术，以在带有均匀噪声的训练中稳定训练。
• 评估该方法对简单线性模型和超先验模型的影响。

提出的方法

• 在训练期间使用加性均匀噪声作为可微分近似。
• 在测试时用通用量化取代量化，以保持可微分并匹配训练/测试阶段。
• 推导比特成本为 h[Y+U]，其中 U 为在给定 U 的条件下离散索引 K 的均匀噪声。
• 引入一个软舍入函数 s_alpha，使其在不舍入与硬舍入之间插值。
• 提出一种解析梯度积分技术，以在对 U 计算期望时降低梯度方差。
• 应用超先验和线性模型，在 Kodak 数据上评估该方法的 RD 曲线。

实验结果

研究问题

• RQ1 通用量化是否可以作为神经压缩的高效、可微分的测试时通道？
• RQ2 通过使用通用量化来对齐训练与测试，是否在速率-失真性能上优于传统的训练时噪声近似？
• RQ3 软舍入在在均匀噪声和硬量化之间插值，同时保持可微分，是否带来收益？
• RQ4 梯度估计技术（期望梯度）是否稳定培训并提高软舍入的收敛？
• RQ5 该方法对简单线性模型和更复杂的超先验模型的影响是什么？

主要发现

• 通用量化产生一个可微分通道，消除了训练-测试不匹配，同时不牺牲效率。
• 量化可以被视为通用量化通过软舍入并退火的极限情况。
• 软舍入和期望梯度在低比特率和超先验模型时提高 RD 性能。
• 期望梯度稳定训练并加速对较大软舍入参数的收敛。
• 在各模型中，UN + UQ 往往优于 UN + Q 基线，且在某些速率下添加 SR 能超越测试时量化的性能。