[论文解读] Structural Autoencoders Improve Representations for Generation and Transfer.

Felix Leeb, Yashas Annadani+2 more|arXiv (Cornell University)|Jun 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 8

一句话总结

本文提出结构化自编码器，通过使用自注意力机制和分层设计显式地构建编码器与解码器架构，以改进表征学习。该方法学习到解耦的、因果有序的潜在表征，在无需监督或辅助信号的情况下，显著提升了在多样化图像数据集上的生成、解耦和迁移学习性能。

ABSTRACT

We study the problem of structuring a learned representation to significantly improve performance without supervision. Unlike most methods which focus on using side information like weak supervision or defining new regularization objectives, we focus on improving the learned representation by structuring the architecture of the model. We propose a self-attention based architecture to make the encoder explicitly associate parts of the representation with parts of the input observation. Meanwhile, our structural decoder architecture encourages a hierarchical structure in the latent space, akin to structural causal models, and learns a natural ordering of the latent mechanisms. We demonstrate how these models learn a representation which improves results in a variety of downstream tasks including generation, disentanglement, and transfer using several challenging and natural image datasets.

研究动机与目标

• 通过结构化模型架构而非依赖弱监督或正则化来改进无监督表征学习。
• 通过自注意力编码器实现输入观测与潜在表征之间的显式部件到部件关联。
• 在潜在空间中学习到类似结构因果模型的分层、因果有序结构。
• 提升在生成、解耦和迁移学习任务中的下游性能。
• 在具有挑战性的自然图像数据集上证明架构结构化的有效性。

提出的方法

• 编码器使用自注意力机制，显式地将输入的各个部分与潜在表征的对应部分关联起来。
• 解码器采用分层架构，学习潜在机制的自然顺序。
• 模型作为自编码器进行训练，以重建输入数据，同时在潜在空间中施加结构归纳偏置。
• 通过鼓励潜在组件之间的因果依赖，使架构设计模仿结构因果模型。
• 该方法无需弱监督或外部正则化，完全依赖架构设计。
• 在多个图像数据集上评估模型，以评估其在生成、解耦和迁移方面的性能。

实验结果

研究问题

• RQ1 对自编码器进行架构结构化是否能在无监督条件下提升表征质量？
• RQ2 是否自注意力编码器通过将输入部件与潜在部件关联，能带来更好的解耦效果？
• RQ3 分层解码器结构能否学习到潜在机制的自然顺序？
• RQ4 结构化表征如何提升下游生成与迁移性能？
• RQ5 该方法是否在多样化且具有挑战性的图像数据集上具有泛化能力？

主要发现

• 所提出的结构化自编码器学习到解耦且因果有序的表征，显著提升了下游性能。
• 该模型在不使用弱监督或正则化的情况下，实现了最先进的表征质量。
• 分层解码器结构实现了更好的解耦效果，并生成更具可解释性的潜在因子。
• 通过学习有意义且结构化的表征，该方法在自然图像数据集上提升了生成质量。
• 由于潜在空间具有结构化和解耦特性，该模型在迁移学习任务中表现出色。
• 结果在多个具有挑战性的图像数据集上保持一致，证实了其泛化能力。