[论文解读] Reasoning about Reasoning: BAPO Bounds on Chain-of-Thought Token Complexity in LLMs

Kiran Tomlinson, Tobias Schnabel+2 more|arXiv (Cornell University)|Feb 2, 2026

Advanced Graph Neural Networks被引用 0

一句话总结

该论文在三项 BAPO-困难任务中证明了关于链式思考 tokens 的 Omega(n) 下界，并在前沿模型中展现了接近线性的 token 规模，凸显推理阶段推理成本的基本极限。

ABSTRACT

Inference-time scaling via chain-of-thought (CoT) reasoning is a major driver of state-of-the-art LLM performance, but it comes with substantial latency and compute costs. We address a fundamental theoretical question: how many reasoning tokens are required to solve a problem as input size grows? By extending the bounded attention prefix oracle (BAPO) model--an abstraction of LLMs that quantifies the information flow required to solve a task--we prove lower bounds on the CoT tokens required for three canonical BAPO-hard tasks: binary majority, triplet matching, and graph reachability. We show that each requires $Ω(n)$ reasoning tokens when the input size is $n$. We complement these results with matching or near-matching upper bounds via explicit constructions. Finally, our experiments with frontier reasoning models show approximately linear reasoning token scaling on these tasks and failures when constrained to smaller reasoning budgets, consistent with our theoretical lower bounds. Together, our results identify fundamental bottlenecks in inference-time compute through CoT and offer a principled tool for analyzing optimal reasoning length.

研究动机与目标

• 由于计算和延迟成本，激励对大模型中链式思考（CoT）推理的推理时间扩展挑战。
• 引入并扩展 BAPO 模型以量化信息流和推理 token 需求。
• 随着输入规模增长，在典型的 BAPO-困难任务上建立 CoT token 的下界。
• 给出可匹配或接近匹配的上界及显式构造。
• 利用前沿推理模型的实验证据验证理论发现，显示线性化的 token 规模趋势。

提出的方法

• 将有界注意前缀神谕模型（BAPO）扩展用于量化在解决任务中的信息流。
• 推导三类典型的 BAPO-困难任务：二进制多数、三元组匹配和图可达性所需的推理 token 下界。
• 提供显式构造以获得推理 token 需求的匹配或接近匹配的上界。
• 使用前沿推理模型进行实验，观察 token 规模及受限推理预算的影响。

实验结果

研究问题

• RQ1 随着输入规模的增加，三类典型的 BAPO-困难任务需要多少推理 token？
• RQ2 二进制多数、三元组匹配和图可达性这三类任务的 CoT token 下界是否成立？
• RQ3 我们能否构造与下界匹配的上界以表征 CoT 推理的 token 经济？
• RQ4 前沿推理模型是否表现出与理论边界近似线性的推理 token 规模？
• RQ5 这些下界对推理阶段的计算和优化 CoT 策略有何意义？

主要发现

• 三类典型的 BAPO-困难任务在输入规模为 n 时都需要 Omega(n) 的推理 token。
• 显式构造给出与下界匹配或接近匹配的 token 需求上界。
• 使用前沿推理模型的实验表明在这些任务上存在近似线性的推理 token 规模。
• 结果与理论下界一致，且在受限较小的推理预算下会出现失败现象。
• 本工作揭示了通过 CoT 在推理阶段的计算的根本瓶颈，并提供分析最优推理长度的工具。