[论文解读] Visual Knowledge in the Big Model Era: Retrospect and Prospect

Wenguan Wang, Yi Yang+1 more|arXiv (Cornell University)|Apr 5, 2024

Digital Media and Visual Art被引用 4

一句话总结

本文回顾了视觉知识作为视觉概念、关系、操作与推理的统一、可解释表征的演变，提出将视觉知识与大型基础模型相结合，可克服透明度、泛化能力和推理能力方面的关键局限。文章主张利用大模型提取、丰富并补充视觉知识，从而实现更可信、更强大的下一代人工智能系统。

ABSTRACT

Visual knowledge is a new form of knowledge representation that can encapsulate visual concepts and their relations in a succinct, comprehensive, and interpretable manner, with a deep root in cognitive psychology. As the knowledge about the visual world has been identified as an indispensable component of human cognition and intelligence, visual knowledge is poised to have a pivotal role in establishing machine intelligence. With the recent advance of Artificial Intelligence (AI) techniques, large AI models (or foundation models) have emerged as a potent tool capable of extracting versatile patterns from broad data as implicit knowledge, and abstracting them into an outrageous amount of numeric parameters. To pave the way for creating visual knowledge empowered AI machines in this coming wave, we present a timely review that investigates the origins and development of visual knowledge in the pre-big model era, and accentuates the opportunities and unique role of visual knowledge in the big model era.

研究动机与目标

• 分析认知心理学与人工智能研究中视觉知识的理论与方法基础。
• 识别当前大型人工智能模型的局限性，包括不透明性、幻觉现象以及高资源消耗问题。
• 探讨视觉知识如何通过结构化、可解释的视觉概念推理，缓解大模型中的弱点。
• 提出一种协同框架，使大模型成为视觉知识创建与增强的来源、工具与补充。
• 规划未来研究方向，推动视觉知识与基础模型的融合，以实现可信且具备泛化能力的人工智能。

提出的方法

• 系统性地从四个维度对视觉知识进行分类：视觉概念、视觉关系、视觉操作与视觉推理。
• 借鉴认知心理学，将视觉知识建立在人类心智意象与感知的基础上，强调可解释性与抽象性。
• 提出利用基础模型（如 GPT、SAM）从海量数据中学习鲁棒的视觉概念与关系，而无需微调。
• 引入大型语言模型作为外部知识源，以语义、常识与上下文关系丰富视觉知识。
• 倡导采用先进的知识分析、提取与增强技术，以定位、验证并优化大模型中编码的知识。
• 强调多模态协同——联合利用文本与视觉模态，构建更全面、上下文感知的表征。

实验结果

研究问题

• RQ1 视觉知识如何在符号推理与非符号深度学习之间架起桥梁？
• RQ2 视觉知识的核心组成部分是什么？它们如何支持对视觉实体的结构化推理？
• RQ3 基础模型在哪些方面能够增强视觉知识的获取、表征与优化？
• RQ4 视觉知识如何缓解大型人工智能模型固有的不透明性、幻觉与偏见问题？
• RQ5 将视觉知识与大模型融合以实现可信、可泛化的AI，最具前景的研究方向是什么？

主要发现

• 视觉知识为视觉概念、其属性（如形状、运动）及其变换提供统一且可解释的表征框架，支持结构化推理。
• 像 SAM 和 GPT-3 这类基础模型展示了在大规模上学习视觉模式与世界知识的潜力，可作为强大的视觉知识提取引擎。
• 大型语言模型中蕴含大量隐含的世界知识——包括语义关系与常识关系——可丰富视觉知识，但这些知识仍深藏于模型参数之中。
• 由于知识与噪声、偏见及错误纠缠在一起，从大模型中提取知识仍具挑战性，亟需先进的分析与优化技术。
• 文本与视觉模态的互补使用可提升理解能力，超越任一模态单独所能达到的水平，尤其在抽象或上下文相关知识方面（如地标的历史意义）。
• 将视觉知识与基础模型整合，为实现兼顾性能、可解释性与可靠性的下一代人工智能提供了切实可行的路径。