[论文解读] Variational Information Bottleneck on Vector Quantized Autoencoders

Hanwei Wu, Markus Flierl|arXiv (Cornell University)|Aug 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 4

一句话总结

本文建立了向量量化变分自编码器（VQ-VAEs）与信息瓶颈原理之间的理论联系。结果表明，原始VQ-VAE损失函数源自变分确定性信息瓶颈（VDIB），而通过EM算法训练的VQ-VAE则近似于变分信息瓶颈（VIB），其潜在表示的困惑度因条件熵增加而提高。

ABSTRACT

In this paper, we provide an information-theoretic interpretation of the Vector Quantized-Variational Autoencoder (VQ-VAE). We show that the loss function of the original VQ-VAE can be derived from the variational deterministic information bottleneck (VDIB) principle. On the other hand, the VQ-VAE trained by the Expectation Maximization (EM) algorithm can be viewed as an approximation to the variational information bottleneck(VIB) principle.

研究动机与目标

• 为VQ-VAE训练目标提供信息论解释。
• 阐明VQ-VAE与变分信息瓶颈（VIB）及变分确定性信息瓶颈（VDIB）原理之间的理论关系。
• 解释为何基于EM的VQ-VAE训练通过增加条件熵，能够提升潜在表示的质量。
• 形式化VQ-VAE损失函数与信息论压缩目标之间的联系。

提出的方法

• 通过使用变分分布 r(z) 对熵 H(Z) 进行上界逼近，推导出 VDIB 损失函数，从而引入交叉熵正则化项。
• 通过使用变分近似对 KL 散度项 I(I,Z) 进行上界逼近，推导出 VIB 损失函数，从而在后验 p(Z|I) 上引入 KL 正则化。
• 将 VQ-VAE 的重建损失与承诺损失映射到 VDIB 目标，其中重建项对应于失真项，而承诺损失对应于交叉熵正则化项。
• 使用停止梯度操作解耦编码器与量化器，仅允许通过解码器进行反向传播，这与 VDIB 训练目标一致。
• 通过 EM 算法对 VQ-VAE 的瓶颈层实施软聚类，提高条件熵 H(p(Z|I))，从而近似 VIB 目标。
• 表明原始 VQ-VAE 对应于先验 r(z) 为均匀分布时的 VDIB，而 EM 训练的 VQ-VAE 则对应于通过软分配实现的非均匀 p(Z|I) 的 VIB。

实验结果

研究问题

• RQ1 原始 VQ-VAE 损失能否从已知的信息论原理中推导出来？
• RQ2 基于 EM 的 VQ-VAE 训练与变分信息瓶颈（VIB）原理有何关系？
• RQ3 为何基于 EM 的 VQ-VAE 比标准 VQ-VAE 具有更高的潜在困惑度？
• RQ4 条件熵 H(p(Z|I)) 在提升表示质量方面起什么作用？
• RQ5 VDIB 与 VIB 原理在离散自编码器中的应用有何异同？

主要发现

• 当先验 r(z) 为均匀分布时，原始 VQ-VAE 损失函数等价于变分确定性信息瓶颈（VDIB）目标。
• 通过显式建模软分配，EM 训练的 VQ-VAE 近似于变分信息瓶颈（VIB）原理，同时提高了条件熵 H(p(Z|I))。
• EM 训练的 VQ-VAE 中的软聚类提高了潜在表示的困惑度，这一结果已在先前的工作中通过实证验证。
• VQ-VAE 中的承诺损失强制编码器对码本产生承诺，这对应于 VDIB 中最小化交叉熵项。
• VQ-VAE 中的重建项对应于 VIB 和 VDIB 中的失真项，其目标是最小化真实数据分布与重建数据分布之间的 KL 散度。
• 在 VQ-VAE 中使用停止梯度操作可确保仅通过量化码本对解码器进行反向传播，这与 VDIB 训练过程一致。