[论文解读] Structured Representation Learning using Structural Autoencoders and Hybridization

Felix Leeb, Yashas Annadani+2 more|arXiv (Cornell University)|Jun 14, 2020

Generative Adversarial Networks and Image Synthesis被引用 3

一句话总结

本文提出了一种新型结构化自编码器，采用分层潜在解码器和改进的采样方法，在无监督自编码学习范式下，学习解耦的、因果结构化的表征。通过将潜在变量建模为因果层次结构并进行干预评估，该方法在自然图像基准上实现了优越的解耦性和生成质量，且无需外部监督或正则化。

ABSTRACT

We study the problem of self-supervised structured representation learning using autoencoders for generative modeling. Unlike most methods which focus on using side information like weak supervision or defining new regularization objectives, we focus on improving the representation using a novel decoder architecture and an improved sampling technique. Our structural decoder architecture learns a hierarchy of latent variables, akin to structural causal models, and learns a natural ordering of the latent mechanisms without any additional regularization. We propose a novel framework to characterize the quality of the learned representation by applying interventions in the latent space and evaluating the effects to gain insight in the causal structure learned by the model which also enables us to quantify how disentangled the representation is. We evaluate our architecture and sampling method on several challenging natural image datasets and compare to several canonical baselines.

研究动机与目标

• 改进无弱监督或正则化依赖的自监督结构化表征学习。
• 开发一种解码器架构，通过结构层次自然学习潜在机制的排序。
• 通过潜在空间中的基于干预的评估，量化解耦性和因果结构。
• 在具有挑战性的自然图像数据集上评估该框架，并与标准基线方法进行比较。

提出的方法

• 提出一种结构化解码器，学习类似于结构因果模型的潜在变量层次结构。
• 引入一种新颖的采样技术，以提升训练稳定性和表征质量。
• 在潜在空间中采用基于干预的分析，以评估因果结构和解耦性。
• 通过自然排序建模潜在机制，无需额外正则化。
• 使用生成建模目标，端到端训练自编码器。
• 通过干预效应评估表征质量，从而揭示因果结构的内在信息。

实验结果

研究问题

• RQ1 如何在不依赖附加信息或正则化的情况下，实现自监督表征学习中的结构化、解耦表征？
• RQ2 分层解码器架构能否自然地学习潜在机制的排序？
• RQ3 基于干预的评估在多大程度上能揭示所学表征中的因果结构？
• RQ4 与标准基线相比，该框架在解耦性和生成质量方面表现如何？

主要发现

• 所提出的结构化解码器在无需额外正则化的情况下，自然学习到了潜在机制的排序。
• 基于干预的评估成功揭示了所学表征中嵌入的因果结构。
• 与基线方法相比，该方法在自然图像数据集上实现了更优的解耦性和生成质量。
• 改进的采样技术提升了训练稳定性和表征质量。
• 该框架可通过因果干预效应实现解耦性的量化评估。