[论文解读] SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs

Lijun Yu, Yong Cheng+11 more|arXiv (Cornell University)|Jun 30, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出语义金字塔自编码器（SPAE），一种使冻结的大规模语言模型（LLMs）能够通过学习的向量量化器将图像转换为可解释、语义丰富的词汇标记，从而实现多模态图像理解与生成的方法。SPAE采用多尺度金字塔结构，编码高层语义与细粒度视觉细节，在少样本图像分类准确率上相比先前方法实现25%的绝对提升，同时通过上下文学习实现零样本图像生成。

ABSTRACT

In this work, we introduce Semantic Pyramid AutoEncoder (SPAE) for enabling frozen LLMs to perform both understanding and generation tasks involving non-linguistic modalities such as images or videos. SPAE converts between raw pixels and interpretable lexical tokens (or words) extracted from the LLM's vocabulary. The resulting tokens capture both the semantic meaning and the fine-grained details needed for visual reconstruction, effectively translating the visual content into a language comprehensible to the LLM, and empowering it to perform a wide array of multimodal tasks. Our approach is validated through in-context learning experiments with frozen PaLM 2 and GPT 3.5 on a diverse set of image understanding and generation tasks. Our method marks the first successful attempt to enable a frozen LLM to generate image content while surpassing state-of-the-art performance in image understanding tasks, under the same setting, by over 25%.

研究动机与目标

• 使冻结的LLM在无需微调的情况下执行涉及图像和视频的多模态任务。
• 通过可解释、语义有意义的表示，弥合视觉模态与冻结LLM的语言标记空间之间的差距。
• 开发一种可扩展、与LLM无关的方法，仅通过上下文学习支持图像理解与生成。
• 通过分层多尺度金字塔结构，提升视觉到文本标记化过程中的重建质量与语义保真度。

提出的方法

• SPAE采用分层多尺度金字塔结构，其中高层表示语义概念，低层编码细粒度视觉细节。
• 该模型使用学习的向量量化器将图像特征映射为离散、可解释的标记，这些标记来自LLM的词汇表，从而实现与冻结LLM的直接交互。
• 采用具有逐层阈值的动态语义损失，确保高层保留语义内容，同时低层维持重建保真度。
• 该方法整合了来自预训练网络的感知损失，以提升图像重建质量，尽管消融实验表明其可被移除且对分类性能影响甚微。
• 该框架支持可调节的标记长度：理解任务使用较少标记，生成任务使用更多标记，从而高效利用上下文窗口限制。
• 整个SPAE模型在不通过LLM反向传播的情况下独立训练，因此可与任意冻结LLM兼容。

Figure 1 : Framework of the proposed SPAE model. An image is encoded into a pyramid of lexical tokens capturing semantic concepts and appearance details necessary for reconstruction.

实验结果

研究问题

• RQ1 能否在不进行任何微调或参数更新的情况下，有效利用冻结LLM实现图像生成？
• RQ2 如何将视觉内容映射到与冻结LLM词汇表兼容的离散、可解释且语义有意义的标记空间？
• RQ3 何种架构设计能够在一个统一的多模态表示中同时实现高层语义理解与细粒度重建？
• RQ4 与平面化或标准VQ-VAE方法相比，分层金字塔结构化标记化在多样化多模态任务中的性能提升程度如何？
• RQ5 当与语义感知视觉标记化器结合时，冻结LLM的上下文学习能否在图像理解任务中实现最先进性能？

主要发现

• 在相同上下文学习设置下，SPAE在mini-ImageNet上的少样本图像分类准确率达到65.1%，相比先前最先进方法（40.1%）实现25%的绝对提升。
• 该方法通过上下文去噪实现了零样本图像生成，是首次成功利用冻结LLM在不微调的情况下直接生成图像的尝试。
• 采用6层金字塔结构、底层包含597个标记时，实现了重建质量（FID: 4.41）与语义准确率之间的最佳平衡。
• 移除感知损失后，分类准确率意外提升至69.5%（对比65.1%），但图像重建质量下降，表明语义保真度与感知保真度之间存在权衡。
• 消融研究证实，动态语义加权与逐层阈值显著提升性能，尤其在分类任务中表现突出。
• 该方法与LLM无关，在PaLM 2与GPT-3.5上均成功验证，证明其与现有冻结LLM具有广泛的兼容性。

Figure 2 : An example of the conditional image denoising task for high resolution synthesis. The context comprises images randomly corrupted in the token space.