[论文解读] SEED-Bench-2: Benchmarking Multimodal Large Language Models

Bohao Li, Yuying Ge+5 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用 6

一句话总结

SEED-Bench-2 引入了一个全面的、分层的基准，用于评估多模态大语言模型（MLLMs）在五个能力层级（L₀ 至 L₄）上的表现，重点评估从 L₀ 到 L₃ 的交错图文输入的理解与生成能力。该基准包含 24,371 个由人工标注的多选题，涵盖 27 个维度，可实现无需 GPT 的客观评估，同时评估文本与图像生成能力，揭示当前 MLLMs 的关键局限性，并为未来通用人工智能（AGI）研究提供指导。

ABSTRACT

Multimodal large language models (MLLMs), building upon the foundation of powerful large language models (LLMs), have recently demonstrated exceptional capabilities in generating not only texts but also images given interleaved multimodal inputs (acting like a combination of GPT-4V and DALL-E 3). However, existing MLLM benchmarks remain limited to assessing only models' comprehension ability of single image-text inputs, failing to keep up with the strides made in MLLMs. A comprehensive benchmark is imperative for investigating the progress and uncovering the limitations of current MLLMs. In this work, we categorize the capabilities of MLLMs into hierarchical levels from $L_0$ to $L_4$ based on the modalities they can accept and generate, and propose SEED-Bench-2, a comprehensive benchmark that evaluates the extbf{hierarchical} capabilities of MLLMs. Specifically, SEED-Bench-2 comprises 24K multiple-choice questions with accurate human annotations, which spans 27 dimensions, including the evaluation of both text and image generation. Multiple-choice questions with groundtruth options derived from human annotation enables an objective and efficient assessment of model performance, eliminating the need for human or GPT intervention during evaluation. We further evaluate the performance of 23 prominent open-source MLLMs and summarize valuable observations. By revealing the limitations of existing MLLMs through extensive evaluations, we aim for SEED-Bench-2 to provide insights that will motivate future research towards the goal of General Artificial Intelligence. Dataset and evaluation code are available at \href{https://github.com/AILab-CVC/SEED-Bench}

研究动机与目标

• 解决现有基准仅评估单图文本理解的缺陷，无法跟上多模态 LLMs 能力的演进步伐。
• 提出一个分层框架（L₀ 至 L₄），根据输入与输出模态系统性地分类 MLLM 的能力。
• 开发一个可扩展的、客观的评估基准，通过使用人工验证的真值答案，消除在推理过程中对 GPT 或人工判断的依赖。
• 全面评估 23 个开源 MLLMs 在多样化多模态推理与生成任务中的表现，揭示当前模型的关键局限性。

提出的方法

• 该基准分为三个部分：第一部分评估 L₁（图像与文本理解），第一部分与第二部分联合评估 L₂（交错图文理解），第一部分与第二部分及第三部分联合评估 L₃（图像与文本生成）。
• 多选题通过 GPT-4 和 ChatGPT 自动生成，基于通过 BLIP2、Tag2Text、SAM 和 PaddleOCR 提取的视觉信息（如图像字幕、实例描述和文本元素）进行引导。
• 采用三阶段过滤流程确保视觉定位：使用 LLM（Vicuna-7B、Flan-T5-XXL、LLaMA-7B）过滤掉无需图像即可回答的问题，使非视觉问题减少 5.52%。
• 人工标注者验证所有题答对，并选择正确选项，分配维度，剔除模糊、错误或存在多个正确选项的题目。
• 最终基准包含 24,371 个经人工验证的答案，确保客观性，并在模型推理过程中无需依赖 GPT 或人工评估。
• 评估在 23 个开源 MLLMs 上进行，性能在 27 个维度和分层级别（L₁ 至 L₃）上报告。

实验结果

研究问题

• RQ1 当前 MLLMs 在从基础理解到复杂图像与文本生成的多模态能力分层谱系中表现如何？
• RQ2 现有 MLLMs 在推理与视觉理解任务中，能在多大程度上从交错的多模态输入生成准确的图像与连贯的文本？
• RQ3 当在大规模、人工标注的基准上评估时，不同 MLLMs 在生成有依据的多模态输出方面表现如何比较，且评估过程无需 GPT 或人工干预？
• RQ4 当前 MLLMs 在生成多模态内容方面存在哪些关键局限性，特别是在复杂推理与视觉定位任务中？

主要发现

• SEED-Bench-2 在 27 个维度和三个分层级别（L₁ 至 L₃）上评估了 23 个开源 MLLMs，是迄今规模最大的基准，包含 24,371 个经人工标注的多选题。
• 表现最佳的模型 SEED-LLaMA（13B）在 L₃ 部分得分达到 65.8，表明在多模态生成方面已取得进展，但仍远未达到人类水平表现。
• 仅有 36.7% 的模型在 L₃ 生成任务中得分超过 40%，揭示当前 MLLMs 从交错输入中生成准确、连贯图像与文本的能力存在显著局限。
• 自动过滤流程成功去除了 5.52% 的可脱离视觉输入回答的问题，确保基准中仅保留视觉定位问题。
• SEED-Bench-2 在规模与覆盖范围上优于以往基准，题目数量是 MMBench 的 8 倍，是 MME 的 10 倍，支持更稳健、可靠的模型评估。
• 该基准揭示当前 MLLMs 在生成任务中于复杂推理与视觉定位方面表现最弱，凸显了迈向通用人工智能（AGI）的关键研究缺口。