[论文解读] Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization

Aditya Grover, Stefano Ermon|arXiv (Cornell University)|Dec 26, 2018

Sparse and Compressive Sensing Techniques参考文献 45被引用 18

一句话总结

本文提出了不确定性自编码器（Uncertainty Autoencoders, UAE），这是一种变分推断框架，通过互信息最大化联合学习压缩表示和恢复过程。通过优化互信息的可处理变分下界，UAE 在统计压缩感知任务中实现了最先进性能，在 MNIST、Omniglot 和 CelebA 等高维数据集上相较基线方法平均提升达 32%。

ABSTRACT

Compressed sensing techniques enable efficient acquisition and recovery of sparse, high-dimensional data signals via low-dimensional projections. In this work, we propose Uncertainty Autoencoders, a learning framework for unsupervised representation learning inspired by compressed sensing. We treat the low-dimensional projections as noisy latent representations of an autoencoder and directly learn both the acquisition (i.e., encoding) and amortized recovery (i.e., decoding) procedures. Our learning objective optimizes for a tractable variational lower bound to the mutual information between the datapoints and the latent representations. We show how our framework provides a unified treatment to several lines of research in dimensionality reduction, compressed sensing, and generative modeling. Empirically, we demonstrate a 32% improvement on average over competing approaches for the task of statistical compressed sensing of high-dimensional datasets.

研究动机与目标

• 开发一个受压缩感知启发的统一框架，用于无监督表征学习。
• 在不依赖通用稀疏性假设的前提下，联合学习采集（编码）和恢复（解码）过程。
• 通过可处理的变分下界，优化数据与潜在表征之间的互信息。
• 通过参数化解码器实现可扩展的、摊销化的恢复，避免对每个样本进行优化。
• 统一并拓展与主成分分析（PCA）和隐式生成建模在表征学习中的联系。

提出的方法

• 该框架将低维测量视为带有噪声的潜在表征，将其建模为真实后验分布的变分近似。
• 通过优化输入数据与潜在码之间互信息的变分下界，实现可扩展的训练，支持基于梯度的优化。
• 编码器与解码器通过一致的目标函数联合训练，取代以往方法中交替进行的 wake-sleep 过程，采用端到端的随机优化。
• 通过参数化解码器实现摊销推理，使测试时仅需一次前向传播即可实现快速重建。
• 该方法隐式定义了一个生成模型，无需对潜在变量显式设定先验分布，从而与变分自编码器（VAEs）相区别。
• 理论分析表明，在适当假设下，UAE 即使使用非线性解码器，也能推广 PCA。

实验结果

研究问题

• RQ1 能否设计一个统一框架，以端到端可微的方式联合学习压缩感知中的编码与解码过程？
• RQ2 通过变分下界实现的互信息最大化，在多大程度上提升了表征质量与恢复性能？
• RQ3 UAE 在不显式引入先验的情况下，能在多大程度上推广至 PCA 和隐式生成建模？
• RQ4 UAE 在多种高维数据集上的统计压缩感知任务中是否优于现有方法？
• RQ5 当将从源数据集学习到的 UAE 表征迁移至目标数据集时，其泛化能力如何？

主要发现

• 在 MNIST 数据集上，UAE 在所有测量率下相较最接近的基线方法，平均恢复性能提升达 38%。
• 在 Omniglot 数据集上，UAE 相较竞争方法平均提升恢复性能 31%。
• 在 CelebA 数据集上，UAE 在所有测量设置下平均恢复准确率提升 28%。
• 在 MNIST 上，使用低维表示时，UAE 的线性编码在下游分类任务中相较 PCA 平均提升 5.33%。
• 该框架实现了领域泛化，当在某一数据集上训练的编码器/解码器应用于不同目标数据集时，展现出优异的迁移性能。
• 理论分析表明，即使使用非线性解码器，UAE 仍可推广为 PCA 的泛化形式，这是标准自编码器所不具备的特性。