[论文解读] Towards Vision-Language Geo-Foundation Model: A Survey

Yue Zhou, Zhong, Zhihang+1 more|arXiv (Cornell University)|Jun 13, 2024

Semantic Web and Ontologies被引用 6

一句话总结

本论文综述 Vision-Language Geo-Foundation Models (VLGFMs)，涵盖数据管道、架构、数据集、任务、基准以及遥感多模态学习的未来方向。

ABSTRACT

Vision-Language Foundation Models (VLFMs) have made remarkable progress on various multimodal tasks, such as image captioning, image-text retrieval, visual question answering, and visual grounding. However, most methods rely on training with general image datasets, and the lack of geospatial data leads to poor performance on earth observation. Numerous geospatial image-text pair datasets and VLFMs fine-tuned on them have been proposed recently. These new approaches aim to leverage large-scale, multimodal geospatial data to build versatile intelligent models with diverse geo-perceptive capabilities, which we refer to as Vision-Language Geo-Foundation Models (VLGFMs). This paper thoroughly reviews VLGFMs, summarizing and analyzing recent developments in the field. In particular, we introduce the background and motivation behind the rise of VLGFMs, highlighting their unique research significance. Then, we systematically summarize the core technologies employed in VLGFMs, including data construction, model architectures, and applications of various multimodal geospatial tasks. Finally, we conclude with insights, issues, and discussions regarding future research directions. To the best of our knowledge, this is the first comprehensive literature review of VLGFMs. We keep tracing related works at https://github.com/zytx121/Awesome-VLGFM.

研究动机与目标

• 界定 Vision-Language Geo-Foundation Models (VLGFMs) 的概念与范围，并将其与相关模型区分开。
• 系统性地评审用于地理空间数据的 VLGFMs 的数据管道、架构和能力。
• 总结用于评估 VLGFMs 的代表性数据集、指标和任务。
• 提供洞见、挑战与未来方向，以指导 VLGFM 领域的研究者。

提出的方法

• 将 VLGFMs 分类为对比、对话和生成范式。
• 分析数据管道，包括从头收集数据以及利用现有数据集进行数据增强。
• 调查 VLGFMs 的架构选择及常见设计模式。
• 汇编并总结该领域使用的基准数据集和评估指标。
• 提供关键 VLGFM 发展的历史背景与时间线。

实验结果

研究问题

• RQ1 哪些数据策略（数据收集与标注）能够促进在遥感中有效训练 VLGFM？
• RQ2 在 VLGFMs 中流行的架构模式与微调做法有哪些，它们如何影响能力？
• RQ3 哪些任务、数据集和指标最能表征 VLGFM 在地理空间环境中的性能与泛化能力？
• RQ4 VLGFM 数据为中心开发面临的主要挑战与未解方向是什么？
• RQ5 VLGFM 如何与 visual geo-foundation models 以及 LLM-powered agents 相关或区别？

主要发现

• VLGFMs 自 2023 年之后迅速出现，主要以数据为核心，许多工作聚焦于数据收集和基于提示的数据增强。
• 存在三种主要范式：对比、对话和生成，架构在很大程度上共享相似的骨干网络和微调策略。
• 用于不同任务的各种遥感数据集被使用，并在每个任务（IC、VQA、VG、IS、IR）识别出推荐数据集、常用数据集和稀有数据集。
• 数据管道将从头构建的字幕和注释与来自现有 RS 数据集的基于模板的或模型生成的字幕相结合。
• 若干工作创建了指令丰富的或多任务数据集，以实现更广泛的能力，如定位、计数和复杂推理。
• 由于数据与资源限制，持续强调通过微调而非从头训练来利用大型预训练模型。