[论文解读] Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language

Andy Zeng, Attarian, Maria+11 more|arXiv (Cornell University)|Apr 1, 2022

Multimodal Machine Learning Applications被引用 170

一句话总结

本论文介绍了苏格拉底模型（Socratic Models，SMs），这是一个模块化的零-shot 框架，通过语言提示将预训练的多模态模型拼接在一起，以解决新的多模态任务，而无需微调，获得具有竞争力的零-shot结果并开启新的应用。

ABSTRACT

Large pretrained (e.g., "foundation") models exhibit distinct capabilities depending on the domain of data they are trained on. While these domains are generic, they may only barely overlap. For example, visual-language models (VLMs) are trained on Internet-scale image captions, but large language models (LMs) are further trained on Internet-scale text with no images (e.g., spreadsheets, SAT questions, code). As a result, these models store different forms of commonsense knowledge across different domains. In this work, we show that this diversity is symbiotic, and can be leveraged through Socratic Models (SMs): a modular framework in which multiple pretrained models may be composed zero-shot i.e., via multimodal-informed prompting, to exchange information with each other and capture new multimodal capabilities, without requiring finetuning. With minimal engineering, SMs are not only competitive with state-of-the-art zero-shot image captioning and video-to-text retrieval, but also enable new applications such as (i) answering free-form questions about egocentric video, (ii) engaging in multimodal assistive dialogue with people (e.g., for cooking recipes) by interfacing with external APIs and databases (e.g., web search), and (iii) robot perception and planning.

研究动机与目标

• 在不同领域（视觉、语言、音频）训练的预训练模型之间实现互补知识的利用，而无需微调。
• 证明语言可以作为跨模型通信的通用媒介，以形成多模态推理。
• 在标准基准上展示具有竞争力的零-shot性能，并实现新应用，如自我中心推理、多模态对话、以及机器人规划。
• 强调通过提示组装异质基础模型的实际优点、局限性以及未来工作方向。

提出的方法

• 将 Socratic Models 定义为通过语言提示连接的模块计算图。
• 使用多模态提示将非语言模态信息替换到语言提示中，以进行 LM 基于推理。
• 利用轻量级的提示引导对话，涉及 VLMs、LMs 和 ALMs（APIs），以对下游任务进行零-shot 推断。
• 演示闭环交互，其中同一组模型被多次调用以细化输出。
• 通过将视频内容总结为语言，使之成为 LM 可推理的世界状态历史概念。

实验结果

研究问题

• RQ1 在异质预训练模型（视觉、语言、音频、API）的零-shot 提示是否能在不训练的情况下实现具有竞争力的多模态任务性能？
• RQ2 语言如何作为中介表示，促成独立模型之间的跨模态交换与推理？
• RQ3 SMs 在像图像描述、情境描述、视频检索和自我中心推理等提示驱动任务中的能力与局限性是什么？
• RQ4 SMs 是否在没有特定任务微调的情况下，支持诸如多模态辅助对话和机器人感知/规划等新应用？

主要发现

• SMs 在 MS COCO 图像描述和 MSR-VTT 视频转文本检索上实现了具有竞争力的零-shot 性能，在某些零-shot 基线上的提升显著。
• 在 Concadia 情境描述中，SMs 在零-shot 的描述任务中优于经过微调的先前方法。
• SMs 在 MSR-VTT 的长转录视频视频转文本检索上刷新了新的零-shot state-of-the-art，在某些情景接近微调方法。
• SMs 通过整合外部 API 和动态数据源，支持开放式的自我中心感知、多模态辅助对话，以及机器人感知/规划。
• 提示使一个自包含、无需训练的框架成为可能，利用 VLMs、LMs 和 ALMs 的互补优势，同时承认如对预训练模型可靠性依赖等局限性。