[论文解读] Perspectives and Prospects on Transformer Architecture for Cross-Modal Tasks with Language and Vision

Andrew Shin, Masato Ishii+1 more|arXiv (Cornell University)|Mar 6, 2021

Multimodal Machine Learning Applications被引用 7

一句话总结

本文综述了Transformer架构在视觉-语言跨模态任务中的演进与影响，重点探讨预训练策略与架构创新。文章强调了从CNN-RNN流水线到端到端Transformer的转变，展示了无需CNN的视觉表征（如ViT和ViLT）的可行性，并探讨了生成建模（如文本到图像合成）的前景，关键进展体现在效率与性能的提升。

ABSTRACT

Transformer architectures have brought about fundamental changes to computational linguistic field, which had been dominated by recurrent neural networks for many years. Its success also implies drastic changes in cross-modal tasks with language and vision, and many researchers have already tackled the issue. In this paper, we review some of the most critical milestones in the field, as well as overall trends on how transformer architecture has been incorporated into visuolinguistic cross-modal tasks. Furthermore, we discuss its current limitations and speculate upon some of the prospects that we find imminent.

研究动机与目标

• 分析Transformer架构在视觉与语言跨模态学习中的变革性作用。
• 考察预训练策略与架构改进如何提升视觉-语言任务的性能。
• 研究纯Transformer-based视觉编码器替代卷积神经网络的潜力。
• 探索生成式跨模态建模（如文本到图像合成）的新兴前景。
• 评估纯Transformer模型相较于混合CNN-RNN或CNN-transformer方法在计算效率与可扩展性方面的表现。

提出的方法

• 梳理视觉与语言领域的重要里程碑，包括BERT、GPT、ViT和ViLBERT，以追踪跨模态建模的演进历程。
• 分析Transformer在联合语言-视觉表征中的架构适配，包括交叉注意力机制与模态特定的标记化方法。
• 评估多模态设置下的预训练目标，如掩码语言建模与对比学习。
• 回顾无需CNN的视觉模型（如Vision Transformer (ViT) 和 ViLT），这些模型通过图像块嵌入与自注意力机制替代卷积特征提取。
• 考察生成式应用（如DALL·E与StyleCLIP），这些模型结合基于Transformer的语言模型与扩散或GAN-based图像生成技术。
• 通过基准测试评估计算效率与内存使用情况，比较ViT与ResNets的性能，包括蒸馏技术在提升性能-成本权衡中的应用。

Figure 1: A brief timeline showing important models in vision (upper) and language (lower) domains respectively, and how they have affected approaches in cross-modal domains (middle).

实验结果

研究问题

• RQ1 Transformer架构如何改变了视觉与语言任务中跨模态模型的设计？
• RQ2 在多模态学习中，纯Transformer-based视觉编码器在多大程度上可以替代卷积神经网络？
• RQ3 在多模态设置下，预训练策略（尤其是掩码语言建模与对比学习）的关键差异与优势是什么？
• RQ4 端到端的纯Transformer-only模型是否能在提升计算效率的同时实现最先进性能？
• RQ5 基于Transformer架构的生成式跨模态任务（如文本到图像合成）的前景如何？

主要发现

• 视觉Transformer (ViT) 在性能上可与ResNets比肩，同时内存效率最高可达4倍，表明其在视觉表征中替代CNN具有强大潜力。
• ViLT与UniT等模型表明，端到端的纯Transformer-only架构可达到或超越CNN-RNN基线，推理速度最高提升60倍。
• 在人工标注数据集上进行预训练比弱监督预训练更具数据效率，但大规模弱监督可通过足够大的数据量实现补偿。
• 在目标任务特定数据集上进行微调可获得优于通用预训练的性能，凸显任务特定适配的重要性。
• 生成式模型如DALL·E与StyleCLIP表明，基于GPT-3的语言模型可利用离散VAE标记化技术，从文本提示生成多样且高质量的图像。
• 无需CNN、纯Transformer的模型兴起，预示着向统一、硬件优化的多模态学习架构转变的范式变革。

Figure 2: Visualization of representative cross-modal models in terms of dataset size used for pre-training, performance as measured by VQA task, the type of pre-training objectives employed, and the model size. The size of block for respective model corresponds to the size of the model, as approxim