[论文解读] Spatial Broadcast Decoder: A Simple Architecture for Learning Disentangled Representations in VAEs

Nicholas Watters, Löıc Matthey+2 more|arXiv (Cornell University)|Jan 21, 2019

Digital Media Forensic Detection参考文献 36被引用 76

一句话总结

Spatial Broadcast decoder 是一个简单的 VAE 解码器，它将潜在变量在空间上平铺并附加固定坐标通道，从而在解耦和重建方面得到提升，特别是对于小对象，并具备良好的泛化能力。

ABSTRACT

We present a simple neural rendering architecture that helps variational autoencoders (VAEs) learn disentangled representations. Instead of the deconvolutional network typically used in the decoder of VAEs, we tile (broadcast) the latent vector across space, concatenate fixed X- and Y-"coordinate" channels, and apply a fully convolutional network with 1x1 stride. This provides an architectural prior for dissociating positional from non-positional features in the latent distribution of VAEs, yet without providing any explicit supervision to this effect. We show that this architecture, which we term the Spatial Broadcast decoder, improves disentangling, reconstruction accuracy, and generalization to held-out regions in data space. It provides a particularly dramatic benefit when applied to datasets with small objects. We also emphasize a method for visualizing learned latent spaces that helped us diagnose our models and may prove useful for others aiming to assess data representations. Finally, we show the Spatial Broadcast Decoder is complementary to state-of-the-art (SOTA) disentangling techniques and when incorporated improves their performance.

研究动机与目标

• 在无监督的情况下，激发对 VAE 中的组合性、解耦表示的学习。
• 提出 Spatial Broadcast decoder 作为标准 DeConv 解码器的替代方案。
• 展示该架构在解耦、重建精度和跨数据集的泛化方面的提升，特别是在小对象的数据集上。
• 展示与最先进的解耦方法结合时的兼容性与互补增益。

提出的方法

• 将潜在向量在整个图像空间中平铺以形成 z_sb，并连接固定的 x 坐标通道和 y 坐标通道。
• 在带有坐标通道的广播潜在变量上使用无步长卷积解码器。
• 避免上采样反卷积以减少优化伪影并简化位置的呈现。
• 提供潜在空间的可视化工具以诊断表示。
• 在具有位置变化和不具位置变化的数据集上进行评估，以评估解耦和泛化。
• 与 DeConv 解码器以及 FactorVAE / beta-VAE 进行比较，同时展示互补增益。

实验结果

研究问题

• RQ1 与标准解码器相比，Spatial Broadcast decoder 是否能改善 VAE 的解耦和重建？
• RQ2 Spatial Broadcast 方法对对未观测数据空间区域的泛化以及对包含小对象的数据集的泛化有何影响？
• RQ3 Spatial Broadcast 解码器是否与现有的解耦方法（如 beta-VAE 与 FactorVAE）互补？
• RQ4 潜在空间可视化是否可以为表示质量提供超越标量指标的更多洞察？

主要发现

• Spatial Broadcast VAE 在 MIG 和潜在遍历方面优于 DeConv VAE，显示出更易解释的解耦因子。
• 它在所测试的模型（包括 beta-VAE 和 FactorVAE 变体）中提供了更好的码率-失真权衡和改进的 MIG 分数。
• 对于包含小对象的数据集，解耦和重建的改进尤为显著。
• 在 Spatial Broadcast 下，潜在空间可视化揭示近线性、良好解耦的结构，与 Entangled 的 DeConv 表现形成对比。
• 该方法对生成因子空间中的留出区域以及像素空间中的插值/外推具有良好的泛化性。
• Spatial Broadcast 解码器与 SOTA 解耦技术互补，结合时可提升它们的性能。