[论文解读] TEOChat: A Large Vision-Language Assistant for Temporal Earth Observation Data

Jeremy Irvin, Hon‐Man Liu+6 more|arXiv (Cornell University)|Oct 8, 2024

Geographic Information Systems Studies被引用 4

一句话总结

TEOChat 是一种用于时间序列地球观测（EO）数据的视觉-语言模型，能够对卫星图像序列进行推理，执行变化检测和损毁评估等任务。该模型在时间推理任务上优于先前的模型（包括 Video-LLaVA 和 GeoChat），并在变化检测与问答基准上实现了最先进（SOTA）的零样本性能，与专用模型相当。

ABSTRACT

Large vision and language assistants have enabled new capabilities for interpreting natural images. These approaches have recently been adapted to earth observation data, but they are only able to handle single image inputs, limiting their use for many real-world tasks. In this work, we develop a new vision and language assistant called TEOChat that can engage in conversations about temporal sequences of earth observation data. To train TEOChat, we curate an instruction-following dataset composed of many single image and temporal tasks including building change and damage assessment, semantic change detection, and temporal scene classification. We show that TEOChat can perform a wide variety of spatial and temporal reasoning tasks, substantially outperforming previous vision and language assistants, and even achieving comparable or better performance than several specialist models trained to perform specific tasks. Furthermore, TEOChat achieves impressive zero-shot performance on a change detection and change question answering dataset, outperforms GPT-4o and Gemini 1.5 Pro on multiple temporal tasks, and exhibits stronger single image capabilities than a comparable single image instruction-following model on scene classification, visual question answering, and captioning. We publicly release our data, model, and code at https://github.com/ermongroup/TEOChat .

研究动机与目标

• 开发一种通用型视觉-语言模型，能够对地球观测（EO）图像的时间序列进行推理，解决现有模型仅处理单张图像或自然视频的局限性。
• 构建一个大规模、指令跟随式的时间序列EO数据集，以支持多模态模型的有效微调。
• 证明单一统一模型可在需要空间与时间推理的多样化EO任务中达到或超越专用模型的性能。
• 实现在未见过的时间序列EO基准上的零样本泛化能力，包括变化检测与问答任务，且无需特定任务的微调。
• 公开发布模型、数据集（TEOChatlas）与代码，以促进地球观测领域社区的研究与应用。

提出的方法

• TEOChat 基于类似 LLaVA 的架构，结合视觉编码器（ViT-CLIP）、视觉-语言连接器（MLP）与大语言模型（Llama 2），并在精心筛选的指令跟随数据集上进行微调。
• 该模型将输入处理为EO图像序列，并配合自然语言提示，使其能够对复杂的时间序列查询生成上下文感知的多模态响应。
• 构建了一个新颖的数据集 TEOChatlas，包含超过 554,071 个样本，覆盖 50 多项时间序列EO任务，如变化检测、损毁评估与时间序列场景分类，用于模型的训练与评估。
• 训练过程采用多样化自然语言指令的指令微调，确保模型在各类任务中具备稳健的零样本泛化能力。
• 在提示中引入图像标识符（如 'Image 1: <image>'），以提升在时间指代任务中的对齐性与性能。
• 评估涵盖真实世界数据集（如 xBD、S2Looking 和 QFabric）上的零样本与 few-shot 基准测试，使用 IoU、F1 与准确率等指标。

Figure 1: Left: Capabilities of VLMs. TEOChat is the first VLM to model temporal earth observation (EO) data. Right: Example outputs of previous VLMs. We compare a temporal VLM (Video-LLaVA (Lin et al., 2023 ) ) and an EO VLM (GeoChat (Kuckreja et al., 2023 ) ) with TEOChat.

实验结果

研究问题

• RQ1 单一视觉-语言模型是否能有效执行广泛的时间序列地球观测任务（包括变化检测与损毁评估），而无需特定任务的微调？
• RQ2 TEOChat 在时间推理任务上的表现与先前在自然图像或单张EO图像上训练的视觉-语言模型相比如何？
• RQ3 TEOChat 在零样本设置下对未见过的时间序列EO基准的泛化能力有多强？
• RQ4 提示中的图像标识符对模型推理时间序列与指代特定图像的能力有何影响？
• RQ5 通用型视觉-语言模型是否能在特定EO任务（如建筑物变化检测或损毁分类）上达到与专用模型相当的性能？

主要发现

• TEOChat 在 xBD 变化检测与变化问答基准上实现了最先进（SOTA）的零样本性能，优于 GPT-4o 与 Gemini 1.5 Pro。
• 在 QFabric 数据集上，当提示中包含图像标识符时，TEOChat 在基于区域的时间问答任务中达到 71.7% 的准确率，在时间指代表达任务中达到 74.9% 的准确率。
• TEOChat 在多项零样本单图像任务（包括视觉问答与场景分类）上优于 GeoChat（一种专用单图像EO VLM）。
• TEOChat 在建筑物变化检测（F1: 0.85）、损毁分类（F1: 0.82）与语义变化检测（IoU: 0.78）等任务上，表现媲美或超过专用模型。
• 在提示中加入图像标识符可使模型在时间推理任务上的性能提升超过 12 个百分点，证明其在时间定位中的关键作用。
• TEOChat 在时间序列任务与单图像任务上均表现出色，表明其是地球观测应用中稳健的通用型模型。

Figure 2: Examples of instruction-following tasks in TEOChatlas. We curate many instruction-following tasks for temporal EO data and group them into seven categories. The tasks require spatial and temporal reasoning capabilities, and span real-world applications including disaster relief and urban d