[论文解读] Tree-of-Mixed-Thought: Combining Fast and Slow Thinking for Multi-hop Visual Reasoning

Pengbo Hu, Ji Qi+6 more|arXiv (Cornell University)|Aug 18, 2023

AI-based Problem Solving and Planning被引用 5

一句话总结

本文提出 Tree-of-Mixed-Thought (ToMT)，一种混合规划框架，结合快速单步生成（系统-1 思维）与 Tree-of-Thought (ToT，系统-2 思维)，以提升多跳视觉推理中的效率与准确性。通过在深层节点有策略地应用快速思维，并使用 ToT 进行迭代优化，ToMT 将 LLM 推理步骤减少高达 50%，同时在复杂视觉推理任务中保持或提升计划准确性。

ABSTRACT

There emerges a promising trend of using large language models (LLMs) to generate code-like plans for complex inference tasks such as visual reasoning. This paradigm, known as LLM-based planning, provides flexibility in problem solving and endows better interpretability. However, current research is mostly limited to basic scenarios of simple questions that can be straightforward answered in a few inference steps. Planning for the more challenging multi-hop visual reasoning tasks remains under-explored. Specifically, under multi-hop reasoning situations, the trade-off between accuracy and the complexity of plan-searching becomes prominent. The prevailing algorithms either address the efficiency issue by employing the fast one-stop generation or adopt a complex iterative generation method to improve accuracy. Both fail to balance the need for efficiency and performance. Drawing inspiration from the dual system of cognition in the human brain, the fast and the slow think processes, we propose a hierarchical plan-searching algorithm that integrates the one-stop reasoning (fast) and the Tree-of-thought (slow). Our approach succeeds in performance while significantly saving inference steps. Moreover, we repurpose the PTR and the CLEVER datasets, developing a systematic framework for evaluating the performance and efficiency of LLMs-based plan-search algorithms under reasoning tasks at different levels of difficulty. Extensive experiments demonstrate the superiority of our proposed algorithm in terms of performance and efficiency. The dataset and code will be release soon.

研究动机与目标

• 解决因迭代搜索导致的高 LLM 推理成本，使 Tree-of-Thought (ToT) 在多跳视觉推理中效率低下。
• 克服单步生成（快速思维）在复杂、长时程推理任务中准确率低的问题。
• 构建系统化的评估框架，将 LLM 规划性能与视觉专家模型的误差隔离并独立测量。
• 通过分层整合快速与慢速思维，实现多跳视觉推理的高效且准确的规划。

提出的方法

• 提出两种混合策略：ToT-OS（带单步生成的 Tree-of-Thought）与 ToT-Block，结合单步生成与 ToT 的迭代、回溯式搜索。
• 仅在深度 >1 的节点应用单步生成，以避免早期错误，同时保留快速推理的优势。
• 采用基于块的方法，将多个推理步骤一并处理，以减少 LLM 调用次数，提升效率。
• 设计场景图交互工具包，实现对视觉信息的直接、准确访问，将 LLM 规划与视觉模型的不准确性解耦。
• 实现健全性检查机制，验证计划正确性，并在必要时触发回溯。
• 将 PTR 与 CLEVR 数据集重新构造为一个新的多跳推理基准，包含四种推理结构与九种问题类型，以评估规划复杂度与深度。

Figure 1: Dataset Diagram. We repurpose a novel dataset comprising four distinct types of reasoning structures and nine question types. To facilitate seamless interaction with scene graphs, we design dedicated tools. Further details regarding the dataset can be found in the Appendix.

实验结果

研究问题

• RQ1 将快速单步生成与慢速、迭代的 ToT 思维结合，是否能同时提升多跳视觉推理中的效率与准确性？
• RQ2 为最大化性能并最小化错误传播，快速思维应在何种深度应用？
• RQ3 ToT-Block 策略中的块大小如何影响推理效率与计划准确率之间的权衡？
• RQ4 基于场景图的工具在多大程度上能实现对 LLM 规划性能的准确、无视觉模型偏差的独立评估？
• RQ5 不同推理结构（如 Long Rel、Logic）与跳数如何影响回溯需求及混合规划的有效性？

主要发现

• 采用起始深度 d=2 的 ToT-OS 策略达到最佳平衡，减少推理步骤的同时保持高计划准确率。
• 在 ToT-Block 中增加块大小可减少推理步骤，但会降低计划准确率，证实了效率与精度之间存在明确权衡。
• 对于 Long Rel 和 Logic 等复杂问题类型，回溯至关重要——若无回溯，仅有 10–20% 的计划正确，凸显了迭代优化的必要性。
• 跳数与无回溯时正确计划数之间的相关性显著为负，证实更长的推理链需要迭代搜索。
• 所提出的评估框架能够可靠地隔离 LLM 规划性能，表明视觉专家模型的不准确性可能原本会掩盖 LLM 的真实能力。
• 在大多数问题类型中，ToMT 在准确率与推理效率方面均优于纯 ToT，尤其在高跳数与复杂推理场景中表现更优。