[论文解读] Towards AGI in Computer Vision: Lessons Learned from GPT and Large Language Models

Lingxi Xie, Longhui Wei+5 more|arXiv (Cornell University)|Jun 14, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出一个三阶段流程，通过使智能体从交互式、世界规模的环境学习，推动计算机视觉向通用人工智能（AGI）发展，其灵感源自GPT在自然语言处理（NLP）中的成功。该方法包括：在模拟环境中对智能体进行未来帧预测的预训练，随后进行指令微调以执行多样化的视觉任务，其核心贡献在于通过基于提示的系统统一视觉任务。

ABSTRACT

The AI community has been pursuing algorithms known as artificial general intelligence (AGI) that apply to any kind of real-world problem. Recently, chat systems powered by large language models (LLMs) emerge and rapidly become a promising direction to achieve AGI in natural language processing (NLP), but the path towards AGI in computer vision (CV) remains unclear. One may owe the dilemma to the fact that visual signals are more complex than language signals, yet we are interested in finding concrete reasons, as well as absorbing experiences from GPT and LLMs to solve the problem. In this paper, we start with a conceptual definition of AGI and briefly review how NLP solves a wide range of tasks via a chat system. The analysis inspires us that unification is the next important goal of CV. But, despite various efforts in this direction, CV is still far from a system like GPT that naturally integrates all tasks. We point out that the essential weakness of CV lies in lacking a paradigm to learn from environments, yet NLP has accomplished the task in the text world. We then imagine a pipeline that puts a CV algorithm (i.e., an agent) in world-scale, interactable environments, pre-trains it to predict future frames with respect to its action, and then fine-tunes it with instruction to accomplish various tasks. We expect substantial research and engineering efforts to push the idea forward and scale it up, for which we share our perspectives on future research directions.

研究动机与目标

• 识别尽管基础模型取得进展，为何视觉任务的统一仍难以实现，而NLP中已实现统一。
• 分析GPT和大语言模型（LLMs）如何通过在文本世界中的交互式学习实现统一。
• 提出一种计算机视觉的新范式，使智能体能够从交互式、世界规模的环境中学习，从而模仿LLMs的成功。
• 概述一个三阶段流程——环境构建、未来帧预测预训练、指令微调——以实现视觉领域的AGI。
• 通过识别环境保真度、预训练代理任务和指令数据规模等关键挑战，为未来研究提供指导。

提出的方法

• 构建保真度高、数据丰富且可交互的虚拟环境，以模拟真实世界中视觉智能体的交互。
• 基于动作的自回归未来帧预测对智能体进行预训练，模拟LLMs的自监督预训练机制。
• 使用人类指令对预训练智能体进行微调，以执行多样化的视觉任务，类比LLMs中的指令微调。
• 设计以数据压缩和多粒度特征提取为重点的代理任务，以提升视觉表征学习的效率与泛化能力。
• 将跨模态生成（如文本到图像）作为预训练性能指标，采用统一的标记化和重建损失。
• 设计统一的提示系统，将复杂任务分解为基本操作（如探索、取物），以支持组合式任务执行。

实验结果

研究问题

• RQ1 尽管基础模型取得进展，为何视觉任务的统一仍难以实现，而NLP中已实现统一？
• RQ2 计算机视觉中缺少何种关键范式转变，使得LLMs能在NLP中实现任务统一？
• RQ3 交互式、世界规模的环境如何成为预训练通用视觉智能体的基础？
• RQ4 哪些代理任务和预训练目标最有效，能帮助视觉智能体通过交互学习世界模型？
• RQ5 指令微调与统一提示系统如何使单一智能体在多样化视觉任务中实现泛化？

主要发现

• 计算机视觉的核心缺陷在于缺乏从交互式环境中学习的范式，而NLP中文本本身即为天然可交互的世界。
• 现有视觉预训练方法（如对比学习和掩码图像建模）不足以支持世界模型学习，必须重新构想以适配交互式环境。
• 未来预训练应优先关注数据压缩与多粒度特征提取，以更有效地处理视觉数据冗余。
• 由于现实世界视觉任务的复杂性，指令微调所需指令数据量需比当前LLMs高出数个数量级。
• 将3D世界建模、定位与模仿学习整合进序列预测框架（如ENTL）在统一具身视觉任务方面展现出前景。
• PaLM-E与ENTL展示了通过LLMs和标记化在统一视觉任务上的初步进展，但现实世界的复杂性要求更先进的模拟与交互能力。