[论文解读] SCHA-VAE: Hierarchical Context Aggregation for Few-Shot Generation

Giorgio Giannone, Ole Winther|arXiv (Cornell University)|Oct 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 4

一句话总结

该论文提出SCHA-VAE，一种分层变分自编码器，通过基于注意力的、排列不变的聚合机制学习集合级上下文，从而提升少样本生成性能。通过分层建模全局与局部表征，该方法在少样本生成任务中达到当前最优性能，在未见类别和不同集合大小下均表现出良好泛化能力，且生成结果的似然度与采样质量均得到提升。

ABSTRACT

A few-shot generative model should be able to generate data from a novel distribution by only observing a limited set of examples. In few-shot learning the model is trained on data from many sets from distributions sharing some underlying properties such as sets of characters from different alphabets or objects from different categories. We extend current latent variable models for sets to a fully hierarchical approach with an attention-based point to set-level aggregation and call our method SCHA-VAE for Set-Context-Hierarchical-Aggregation Variational Autoencoder. We explore likelihood-based model comparison, iterative data sampling, and adaptation-free out-of-distribution generalization. Our results show that the hierarchical formulation better captures the intrinsic variability within the sets in the small data regime. This work generalizes deep latent variable approaches to few-shot learning, taking a step toward large-scale few-shot generation with a formulation that readily works with current state-of-the-art deep generative models.

研究动机与目标

• 解决在数据量极少的场景下，模型必须从极少数样本中泛化的问题。
• 通过引入分层推理与可学习聚合机制，提升集合型潜在变量模型的表达能力。
• 在推理阶段无需微调，即可实现对未见类别和不同集合基数的鲁棒泛化。
• 提供一种可扩展的、排列不变的框架，与现代深度生成模型兼容。

提出的方法

• 提出SCHA-VAE，一种分层VAE，通过输入样本的注意力池化学习集合级潜在变量c，以建模全局上下文。
• 采用分层推理机制，逐步将局部样本特征与全局上下文融合，增强表征学习能力。
• 引入可学习聚合模块，替代固定池化（如均值、最大值）操作，实现基于注意力的特征融合，提升上下文表征质量。
• 设计排列不变的网络架构，以处理无序集合，确保输入顺序变化时行为一致。
• 应用迭代采样策略，以探索模型定义的预测分布与边缘分布。
• 将模型与标准VAE组件结合，确保与当前最优架构及训练流程的兼容性。

实验结果

研究问题

• RQ1 与非分层基线相比，采用可学习聚合的分层潜在变量模型是否能提升少样本生成性能？
• RQ2 该模型在推理阶段无需微调的情况下，对未见类别和不同集合基数的泛化能力如何？
• RQ3 基于注意力的聚合机制在捕捉集合级结构方面，是否显著优于固定池化方法？
• RQ4 分层推理是否增强了模型在小样本场景下捕捉内在可变性的能力？
• RQ5 所提出的框架能否与现代VAE架构有效结合，从而提升生成性能？

主要发现

• SCHA-VAE在Omniglot测试集上取得更优的似然度得分，且随着集合大小从2增至20，性能持续提升。
• 分层推理与可学习聚合组件在所有集合大小下均持续优于非分层基线与固定池化基线。
• 该模型能有效泛化至分布外类别与未见集合基数，展现出强大的少样本迁移能力。
• 迭代采样策略揭示了生成样本在多样性与保真度方面均有提升，表明其对真实数据分布建模更优。
• 基于注意力的聚合机制在复杂高维数据（如图像）中，相比均值或最大池化，能提供更优的上下文表征。
• SCHA-VAE与当前最优VAE架构具有强兼容性，表明其具备广泛适用性，并有潜力实现进一步性能提升。