[论文解读] Practical Lossless Compression with Latent Variables using Bits Back Coding
BB-ANS 通过使用 ANS 的 bits-back 编码，在潜在变量模型中实现无损压缩，并在 MNIST 的 VAE 压缩中以接近负 ELBO 的速率进行示范。
Deep latent variable models have seen recent success in many data domains. Lossless compression is an application of these models which, despite having the potential to be highly useful, has yet to be implemented in a practical manner. We present `Bits Back with ANS' (BB-ANS), a scheme to perform lossless compression with latent variable models at a near optimal rate. We demonstrate this scheme by using it to compress the MNIST dataset with a variational auto-encoder model (VAE), achieving compression rates superior to standard methods with only a simple VAE. Given that the scheme is highly amenable to parallelization, we conclude that with a sufficiently high quality generative model this scheme could be used to achieve substantial improvements in compression rate with acceptable running time. We make our implementation available open source at https://github.com/bits-back/bits-back .
研究动机与目标
- 将无损压缩作为概率潜在变量模型的应用进行动机阐释。
- 开发一个能够高效处理潜在变量的实用编码方案（BB-ANS）。
- 在 MNIST 上使用 VAE 展示接近 ELBO 的压缩速率。
- 处理连续潜在变量的离散化以及对洁净种子比特的需求。
- 强调并行性和在更高质量生成模型下的扩展潜力。
提出的方法
- 引入 bits back 编码及其等价于负 ELBO 作为最优编码成本。
- 用 ANS 取代传统的自适应编码（AC），以实现 BB-ANS 的无缝链接。
- 通过在先验下采用等质量分箱对连续潜在空间进行离散化，以实现有限字母表编码。
- 展示如何用一批洁净比特对 BB-ANS 链进行种子化，并在数据点之间执行链接。
- 训练一个先验为高斯分布、近似后验为高斯分布的 VAE，并对 MNIST 的像素使用 beta-二项输出。
- 证明压缩率与在测试数据上观察到的负 ELBO 非常接近。
实验结果
研究问题
- RQ1BB-ANS 是否能够在实际数据集上使潜在变量模型的压缩率接近负 ELBO？
- RQ2如何在不显著降低编码效率的情况下对连续潜在变量进行离散化？
- RQ3有限精度、离散化以及非洁净种子比特对 BB-ANS 性能有何影响？
- RQ4BB-ANS 与 MNIST 的标准通用压缩算法相比如何，以及它如何在最先进模型上扩展？
主要发现
- BB-ANS 使用一个简单的 VAE，对二值化和完整 MNIST 的数据进行压缩，压缩速率优于 bz2、gzip、PNG 和 WebP。
- BB-ANS 达到的压缩速率非常接近训练好的 VAE 的负 ELBO（差异约小于 ~1%）。
- 连续潜在变量可以使用 bits back 编码达到任意精度的编码，而不影响编码速率，从而实现带 VAE 的 BB-ANS。
- 该方法与并行化兼容，在更高质量的生成模型下可能带来显著收益。
- 作者提供了开源实现，并认为在与最先进的潜在变量模型结合时，BB-ANS 可能优于通用压缩方案。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。