[论文解读] SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data

Jinwoo Kim, Jaehoon Yoo+2 more|arXiv (Cornell University)|Mar 29, 2021

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

SetVAE 提出了一种用于集合结构数据的分层变分自编码器，通过注意力瓶颈层学习多尺度的、排列不变的表示。该方法在点云生成任务中实现了最先进的生成质量，参数量显著减少，并通过将结构与基数分离，实现了对未见过的集合基数的泛化能力。

ABSTRACT

Generative modeling of set-structured data, such as point clouds, requires reasoning over local and global structures at various scales. However, adopting multi-scale frameworks for ordinary sequential data to a set-structured data is nontrivial as it should be invariant to the permutation of its elements. In this paper, we propose SetVAE, a hierarchical variational autoencoder for sets. Motivated by recent progress in set encoding, we build SetVAE upon attentive modules that first partition the set and project the partition back to the original cardinality. Exploiting this module, our hierarchical VAE learns latent variables at multiple scales, capturing coarse-to-fine dependency of the set elements while achieving permutation invariance. We evaluate our model on point cloud generation task and achieve competitive performance to the prior arts with substantially smaller model capacity. We qualitatively demonstrate that our model generalizes to unseen set sizes and learns interesting subset relations without supervision. Our implementation is available at https://github.com/jw9730/setvae.

研究动机与目标

• 为解决集合结构数据的生成建模挑战，该挑战要求对元素排列保持不变并能处理可变基数。
• 克服先前模型缺乏分层结构且在复杂集合中难以处理元素间依赖关系的局限。
• 开发一种变分自编码器框架，支持无需强加启发式排序的集合多尺度、解耦表示。
• 在推理阶段实现对任意集合大小的泛化，即使这些大小在训练中未出现过。
• 在无监督条件下发现并建模集合中的内在子结构，例如点云中的语义部件。

提出的方法

• SetVAE 使用注意力瓶颈层（ABLs），通过注意力机制将集合划分为子集，并将它们投影回原始基数，从而实现分层处理。
• 该模型采用具有多层潜在变量的分层 VAE 架构，每一层代表输入集合的更粗粒度抽象。
• 每一层通过可学习的诱导点来关注并总结子集，从而实现在多尺度上的粗粒度到细粒度推理。
• 编码器使用多头自注意力机制计算注意力图，以识别语义上有意义的部件，例如点云中的机翼或发动机。
• 解码器通过条件化于分层潜在变量来重建集合，注意力机制确保了排列不变性。
• 为分层潜在变量使用多模态先验，以稳定训练并改善生成因子的解耦。

实验结果

研究问题

• RQ1 分层 VAE 是否能够在保持排列不变性的同时，学习到集合结构数据的有意义的、由粗到细的表示？
• RQ2 在固定基数集合上进行训练的生成模型，能否泛化到未见过的集合基数？
• RQ3 该模型是否能在无显式监督的情况下发现内在子结构（如物体的部件）？
• RQ4 与单层 VAE 相比，引入分层潜在变量是否能提升生成质量和因子解耦？
• RQ5 在高基数设置下，当元素间依赖关系至关重要时，该模型表现如何？

主要发现

• 在 Set-MultiMNIST 数据集的 64×64 渲染图像上，SetVAE 达到了 1047 的竞争性 Fréchet PointFlow Distance（FID）分数，优于非分层和单模态先验基线模型。
• 该模型在训练仅使用 2048 个点的 ShapeNet 和少于 250 个点的 Set-MNIST 数据的情况下，仍能泛化至 100 到 10,000 的集合基数。
• 在高基数设置（100,000 个点）下，SetVAE 保持了清晰的结构细节，而 PointFlow 因独立建模元素而产生模糊、噪声的边界。
• 注意力图的可视化显示，在多个样本中均一致地关注语义上有意义的部件（如机翼、发动机、腿部），表明模型成功发现了内在子结构。
• 潜在空间分析表明，低层编码位置信息，而高层编码形状特征，证明了分层级别间生成因子的解耦。
• 消融研究证实，分层结构和多模态先验至关重要：移除它们后，FID 分别上升至 1470（增加 423）和 1252（增加 218）。