[论文解读] Slimmable Compressive Autoencoders for Practical Neural Image Compression

Fei Yang, Luis Herranz+2 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Data Compression Techniques参考文献 42被引用 4

一句话总结

该论文提出了一种统一的神经图像压缩框架——可裁剪压缩自编码器（Slimmable Compressive Autoencoders, SlimCAE），通过可训练的、宽度可调的编码器与解码器网络，实现动态的率失真权衡以及可变的计算复杂度。通过采用一种新颖的$λ$-调度训练策略，为每个网络宽度独立优化率失真目标，SlimCAE在实现最先进率失真性能的同时，支持运行时对内存、FLOPs和延迟的动态调整，使其在资源受限设备上具有高度实用性。

ABSTRACT

Neural image compression leverages deep neural networks to outperform traditional image codecs in rate-distortion performance. However, the resulting models are also heavy, computationally demanding and generally optimized for a single rate, limiting their practical use. Focusing on practical image compression, we propose slimmable compressive autoencoders (SlimCAEs), where rate (R) and distortion (D) are jointly optimized for different capacities. Once trained, encoders and decoders can be executed at different capacities, leading to different rates and complexities. We show that a successful implementation of SlimCAEs requires suitable capacity-specific RD tradeoffs. Our experiments show that SlimCAEs are highly flexible models that provide excellent rate-distortion performance, variable rate, and dynamic adjustment of memory, computational cost and latency, thus addressing the main requirements of practical image compression.

研究动机与目标

• 解决现有神经图像压缩模型在实际应用中的局限性，包括计算开销大、仅针对单一码率优化，且缺乏动态适应能力。
• 实现对多种网络容量（即不同宽度）下率与失真指标的联合优化，以支持单一模型中的可变码率与可变复杂度运行。
• 通过引入一种容量感知的训练策略，为每种宽度分配独立的率失真目标，克服简单裁剪网络训练导致的次优性能问题。
• 设计新型可裁剪组件，包括广义除法归一化（GDN）层和熵模型，以支持高效、可扩展的推理。
• 证明从SlimCAE生成可伸缩比特流的可行性，同时保留动态复杂度控制的关键优势。

提出的方法

• 提出一种可裁剪压缩自编码器（SlimCAE）框架，其中编码器与解码器的宽度可在训练后动态调整，以控制码率、内存占用和计算成本。
• 引入$λ$-调度算法，交替训练完整模型并为每个网络宽度调整$λ$超参数，确保每种宽度均能优化其自身的率失真权衡。
• 设计可裁剪的GDN层，确保在不同通道宽度下保持非线性特性和压缩效率，实现平滑的容量扩展。
• 利用条件卷积和自回归上下文建模，开发可裁剪的熵模型，实现在极小性能损失下的可变码率熵编码。
• 采用端到端训练方式，损失函数结合失真（MSE或MS-SSIM）与率（交叉熵），并使用针对不同宽度的$λ$值以平衡率失真权衡。
• 通过独立编码通道组的方式，实现可伸缩比特流生成，支持基础层+增强层解码，同时保持与主模型的兼容性。

实验结果

研究问题

• RQ1 单一神经图像压缩模型是否能在无需重新训练的情况下，动态调整其码率、内存占用和计算成本？
• RQ2 当每种网络宽度需要不同的率失真权衡时，如何有效训练可裁剪的神经网络以用于压缩自编码器？
• RQ3 与在所有宽度上共享优化策略相比，针对容量的特定优化对率失真性能有何影响？
• RQ4 可裁剪组件（如GDN、熵模型）是否可被设计为在多种宽度下保持高效率的压缩性能？
• RQ5 SlimCAE在多大程度上能够生成可伸缩比特流，同时保持动态复杂度控制与率失真性能？

主要发现

• 在Kodak和Tecnick数据集上，SlimCAE实现了最先进水平的率失真性能，当以MS-SSIM为目标优化时，相比BPG的BD-rate增益高达-47.88%。
• 模型的内存占用范围为27.1 MB至62.5 MB，具体取决于宽度，显著低于多个CAE（42.9–78.3 MB），且与单模型相当。
• 通过调整网络宽度，SlimCAE可动态降低FLOPs与延迟，支持在资源受限设备上的高效部署。
• $λ$-调度训练方法使每种宽度均能实现最优率失真权衡，在Kodak数据集上相比朴素联合训练，PSNR性能最高提升达9.52 dB。
• 可裁剪熵模型引入可忽略的性能损失（例如，-6.17% BD-rate），同时支持可变码率与可伸缩比特流生成。
• 该框架同时支持动态复杂度扩展与可伸缩比特流生成，适用于异构网络与自适应流媒体传输。