[论文解读] Neural Distributed Source Coding

Jay Whang, Nagle, Alliot+3 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出神经分布式源编码（Neural DSC），一种基于条件向量量化解码变分自编码器（VQ-VAE）的深度学习框架，可在无需手工设计模型的前提下实现实用的高维分布式源编码。该方法在立体图像压缩任务中达到最先进（SOTA）的PSNR性能，并通过学习复杂相关性逼近联合压缩率，证明了数据驱动方法可在实际中有效实现Slepian-Wolf理论增益。

ABSTRACT

Distributed source coding (DSC) is the task of encoding an input in the absence of correlated side information that is only available to the decoder. Remarkably, Slepian and Wolf showed in 1973 that an encoder without access to the side information can asymptotically achieve the same compression rate as when the side information is available to it. While there is vast prior work on this topic, practical DSC has been limited to synthetic datasets and specific correlation structures. Here we present a framework for lossy DSC that is agnostic to the correlation structure and can scale to high dimensions. Rather than relying on hand-crafted source modeling, our method utilizes a conditional Vector-Quantized Variational Autoencoder (VQ-VAE) to learn the distributed encoder and decoder. We evaluate our method on multiple datasets and show that our method can handle complex correlations and achieves state-of-the-art PSNR. Our code is made available at https://github.com/acnagle/neural-dsc.

研究动机与目标

• 弥合理论分布式源编码（DSC）与高维、任意相关源实际实现之间的差距。
• 开发一种可扩展、数据驱动的 DSC 框架，避免依赖于对源相关性的手工设计模型。
• 证明深度生成模型即使在仅在解码器端有辅助信息时，也能在分布式设置中实现接近最优的压缩率。
• 在多种数据类型（包括图像和模型梯度）上评估该方法，以展示其在合成或结构化相关性之外的泛化能力。

提出的方法

• 该框架使用条件 VQ-VAE 建模源信号与辅助信息的联合分布，支持分布式编码器与解码器的端到端训练。
• 编码器仅使用自身数据对源信号进行压缩，而解码器则结合压缩信号与辅助信息完成源信号重构。
• 通过修改后的证据下界（ELBO）目标函数进行训练，该目标函数体现了 DSC 的非对称特性，即辅助信息仅在解码器端可用。
• 向量量化的潜在空间支持离散、可学习的表征，从而实现高效压缩与重构。
• 采用随机梯度下降进行端到端训练，无需显式设计码书或基于校验的编码方式。
• 该方法可泛化至多种数据类型，包括图像和深度学习模型梯度，展现出广泛适用性。

实验结果

研究问题

• RQ1 像 VQ-VAE 这类深度生成模型能否在不预先假设相关性结构的前提下，有效适配用于分布式源编码？
• RQ2 一个学习得到的、数据驱动的 DSC 系统在实际中能多接近 Slepian-Wolf 编码的理论极限？
• RQ3 尽管该方法是端到端可微的，它在结构化、i.i.d. 的伯努利源上是否仍优于非学习基线方法（如 DISCUS）？
• RQ4 该框架能否处理超越简单空间或统计模型的复杂高维相关性，例如在立体图像或深度神经网络梯度中？

主要发现

• Neural DSC 在立体图像压缩任务中达到最先进 PSNR 性能，优于同设置下的先前方法。
• 在合成相关高斯源上，该方法的率失真性能在低码率下非常接近渐近最优的 DSC 极限。
• 即使在 i.i.d. 伯努利源上（此时 DISCUS 几乎最优），Neural DSC 的性能仍可与联合源编码相媲美，表明其学习到了非平凡的压缩算法。
• 该方法显著优于无辅助信息的编码器，证实其执行的是真正的分布式压缩，而非仅高码率压缩。
• 该框架可泛化至非图像数据，在压缩分布式训练中的模型梯度时表现出色，显示出更广泛的应用潜力。
• 在高码率下，辅助信息的优势减弱，符合预期，因为理论极限是渐近的，且模型一次仅压缩一个符号。