[论文解读] Visual Agents as Fast and Slow Thinkers

Guangyan Sun, Mingyu Jin+8 more|arXiv (Cornell University)|Aug 16, 2024

Reinforcement Learning in Robotics被引用 4

一句话总结

FaST 引入了一种视觉智能体框架，通过开关适配器动态切换快速（系统1）与慢速（系统2）思维模式，以提升视觉任务中的推理能力。通过整合提议适配器和分割适配器，显著提升了准确率与可解释性，在 VQA 上达到 80.8% 的准确率，在 ReasonSeg 上达到 48.7% 的 GIoU，优于强基线模型，同时具备更强的鲁棒性与更低的幻觉现象。

ABSTRACT

Achieving human-level intelligence requires refining cognitive distinctions between System 1 and System 2 thinking. While contemporary AI, driven by large language models, demonstrates human-like traits, it falls short of genuine cognition. Transitioning from structured benchmarks to real-world scenarios presents challenges for visual agents, often leading to inaccurate and overly confident responses. To address the challenge, we introduce FaST, which incorporates the Fast and Slow Thinking mechanism into visual agents. FaST employs a switch adapter to dynamically select between System 1/2 modes, tailoring the problem-solving approach to different task complexity. It tackles uncertain and unseen objects by adjusting model confidence and integrating new contextual data. With this novel design, we advocate a flexible system, hierarchical reasoning capabilities, and a transparent decision-making pipeline, all of which contribute to its ability to emulate human-like cognitive processes in visual intelligence. Empirical results demonstrate that FaST outperforms various well-known baselines, achieving 80.8% accuracy over VQA^{v2} for visual question answering and 48.7% GIoU score over ReasonSeg for reasoning segmentation, demonstrate FaST's superior performance. Extensive testing validates the efficacy and robustness of FaST's core components, showcasing its potential to advance the development of cognitive visual agents in AI systems. The code is available at ttps://github.com/GuangyanS/Sys2-LLaVA.

研究动机与目标

• 为解决当前视觉智能体在真实环境中存在的问题，即模型常产生过度自信且幻觉化的回答。
• 通过显式建模系统1（快速、直觉性）与系统2（慢速、审慎性）思维，弥合人工智能与人类水平认知之间的差距。
• 提升在存在不确定性、不可见性或复杂查询场景下的视觉任务推理鲁棒性。
• 构建透明、分层的推理流程，提供可解释的中间输出，以增强模型的可解释性。

提出的方法

• 开关适配器根据任务复杂度与模型置信度，动态选择系统1或系统2模式。
• 当任务简单且置信度高时，触发系统1，实现快速推理。
• 当检测到不确定性或不可见性时（如模糊查询或小物体），激活系统2，利用负向上下文数据重新校准置信度。
• 提议适配器生成感兴趣区域（RoI）候选，以引导精细化分析。
• 分割适配器生成像素级掩码，用于对复杂实例进行细粒度推理。
• 该框架整合世界知识与上下文线索，构建证据链，从而增强可解释性并减少幻觉。

实验结果

研究问题

• RQ1 视觉智能体如何根据任务复杂度与不确定性动态调整其推理模式？
• RQ2 混合快速/慢速思维机制在视觉问答与分割任务中，能在多大程度上减少幻觉？
• RQ3 上下文线索与像素级适配器在提升对未见或模糊视觉输入的推理鲁棒性方面发挥何种作用？
• RQ4 透明的神经符号推理流程的集成，如何增强模型的可解释性与性能？

主要发现

• FaST 在 VQA-v2 上达到 80.8% 的准确率，显著优于基线模型。
• 在 ReasonSeg 基准上，FaST 实现 48.7% 的 GIoU 得分，展现出更优的实例级推理与分割准确率。
• 消融实验表明，提议适配器与分割适配器均对性能提升有显著贡献，二者联合使用效果最佳。
• 将缺失物体与上下文线索引入开关适配器后，MME 与 refCOCOg 上的性能最高提升 5.6 分。
• 在 MME 上，FaST 的推理速度比纯系统2推理快约 31%，在 GQA 上快约 50%，同时保持高性能。
• 定性结果表明，与 LLaVA-v1.5 和 LISA-7B 相比，FaST 在复杂或模糊场景中能生成更准确、更局部化且更具可解释性的预测。