[论文解读] Recent Advances in Autoencoder-Based Representation Learning

Michael Tschannen, Olivier Bachem+1 more|arXiv (Cornell University)|Dec 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 78被引用 359

一句话总结

对自编码器为基础的表示学习的深入综述，详细介绍三大机制以强制元先验（正则化后验、编码/解码的分解、结构化先验）及它们与监督和速率失真权衡的关系。

ABSTRACT

Learning useful representations with little or no supervision is a key challenge in artificial intelligence. We provide an in-depth review of recent advances in representation learning with a focus on autoencoder-based models. To organize these results we make use of meta-priors believed useful for downstream tasks, such as disentanglement and hierarchical organization of features. In particular, we uncover three main mechanisms to enforce such properties, namely (i) regularizing the (approximate or aggregate) posterior distribution, (ii) factorizing the encoding and decoding distribution, or (iii) introducing a structured prior distribution. While there are some promising results, implicit or explicit supervision remains a key enabler and all current methods use strong inductive biases and modeling assumptions. Finally, we provide an analysis of autoencoder-based representation learning through the lens of rate-distortion theory and identify a clear tradeoff between the amount of prior knowledge available about the downstream tasks, and how useful the representation is for this task.

研究动机与目标

• 总结指导表示学习的元先验以及基于自编码器的模型如何强制它们。
• 按三大机制分类方法：后验正则化、分布分解/因子化编码/解码、以及结构化先验。
• 将这些方法与监督水平和实际建模偏差联系起来。
• 提供一个速率-失真视角，以理解无监督表示中的权衡。

提出的方法

• 定义变分自编码器（VAE）框架和ELBO目标。
• 将机制分为：(i) 对编码/聚合后验进行正则化；(ii) 对编码/解码分布进行分解/因子化；(iii) 使用灵活的先验。
• 描述对 q_phi(z|x) 与 q_phi(z) 使用的正则化项（如 TC、MMD、HSIC）及其估计方法（密度比技巧、MMD）。
• 讨论结构化的编码/解码分布（确定性与随机、分层编码）。
• 讨论结构化先验（混合、分层先验）及其如何促进聚类或解耦。
• 对比有监督与无监督设定，并解释信息瓶颈视角与速率-失真框架。

实验结果

研究问题

• RQ1 在自编码器基表示中，哪些机制最有效地强制解耦、层次和聚类？
• RQ2 后验正则化、分布分解和先验如何与 Bengio 等提出的元先验相关？
• RQ3 有监督在实现对下游任务有用的表示中的作用是什么？
• RQ4 速率-失真理论如何揭示先验知识量与表示对下游任务有用性之间的权衡？

主要发现

• 确定用于强制执行元先验的三个核心机制：后验正则化、对编码/解码分布的结构化，以及灵活的先验。
• 如 TC、MMD、HSIC，以及受信息瓶颈启发的项，有助于促使解耦和独立。
• 结构化编码（分层或分组潜在变量）使得对变化的分层或聚类因素建模成为可能。
• 监督和隐式监督仍然是关键推动力，强大的归纳偏差塑造学习到的表示。
• 速率-失真视角揭示了关于下游任务的先验知识量与学习表示在这些任务中的有用性之间的权衡。