[论文解读] Multimodal Analysis Of Google Bard And GPT-Vision: Experiments In Visual Reasoning

David Noever, Samantha Elizabeth Miller Noever|arXiv (Cornell University)|Aug 17, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本研究通过64项视觉推理任务评估了Google Bard与GPT-Vision，发现其在视觉CAPTCHA破解和视觉文本识别方面表现优异，但在重建ASCII艺术、分析类似井字棋的结构化网格以及预测下一场景方面存在显著局限，表明其过度依赖视觉猜测而非稳健的视觉理解。

ABSTRACT

Addressing the gap in understanding visual comprehension in Large Language Models (LLMs), we designed a challenge-response study, subjecting Google Bard and GPT-Vision to 64 visual tasks, spanning categories like "Visual Situational Reasoning" and "Next Scene Prediction." Previous models, such as GPT4, leaned heavily on optical character recognition tools like Tesseract, whereas Bard and GPT-Vision, akin to Google Lens and Visual API, employ deep learning techniques for visual text recognition. However, our findings spotlight both vision-language model's limitations: while proficient in solving visual CAPTCHAs that stump ChatGPT alone, it falters in recreating visual elements like ASCII art or analyzing Tic Tac Toe grids, suggesting an over-reliance on educated visual guesses. The prediction problem based on visual inputs appears particularly challenging with no common-sense guesses for next-scene forecasting based on current "next-token" multimodal models. This study provides experimental insights into the current capacities and areas for improvement in multimodal LLMs.

研究动机与目标

• 探究近期多模态大语言模型（特别是Google Bard与GPT-Vision）相较于早期模型（如GPT-4）的视觉推理能力。
• 识别视觉语言模型在需要精确视觉理解（超越光学字符识别）的任务中的局限性。
• 评估这些模型在涉及视觉情境推理、下一场景预测以及视觉模式重建（如ASCII艺术与棋盘）任务中的表现。
• 评估将基于深度学习的视觉理解集成至Bard与GPT-Vision等模型是否带来了相较于完全依赖OCR的模型的推理能力提升。

提出的方法

• 开展了一项问答式研究，向Google Bard与GPT-Vision展示了64项多样化的视觉推理任务。
• 任务按类别分组，包括“视觉情境推理”与“下一场景预测”，以评估其上下文与序列理解能力。
• 视觉输入包括CAPTCHA、ASCII艺术、井字棋棋盘与场景转换，用以测试模式识别与结构推理能力。
• 评估标准为模型在不依赖外部工具的前提下，准确解读、描述与推理视觉输入的能力。
• 通过将模型输出与真实答案对比来衡量性能，重点关注正确性与连贯性。
• 将结果与早期依赖外部OCR工具（如Tesseract）的模型（如GPT-4）进行对比，以凸显架构方法的转变。

实验结果

研究问题

• RQ1 Google Bard与GPT-Vision在需要理解视觉结构与上下文的视觉推理任务中表现如何？
• RQ2 在ASCII艺术重建或网格分析等任务中，这些模型在多大程度上依赖视觉猜测而非准确的视觉理解？
• RQ3 这些模型能否基于当前多模态输入有效预测视觉序列的下一场景？
• RQ4 与使用外部OCR工具（如Tesseract）的早期模型相比，它们的视觉推理能力如何？
• RQ5 当模型面临需要精确空间或结构推理的任务时，其视觉推理的具体失败模式是什么？

主要发现

• Google Bard与GPT-Vision成功破解了仅靠ChatGPT无法解决的视觉CAPTCHA，表明其视觉感知能力相较早期模型有所提升。
• 在重建ASCII艺术方面，模型表现显著不佳，表明其对视觉模式与空间布局的理解存在严重不足。
• 在井字棋棋盘分析任务中表现欠佳，暴露出其在识别与推理结构化符号视觉布局方面的局限性。
• 下一场景预测任务中缺乏可靠的常识推理，模型频繁生成错误或不连贯的后续描述。
• 尽管采用深度学习进行视觉文本识别，这些模型仍表现出对有根据的视觉猜测的过度依赖，而非准确的视觉理解。
• 本研究证实，当前多模态大语言模型在需要结构或上下文推理的任务中，仍缺乏稳健的视觉推理能力。