[论文解读] Understanding Agent Scaling in LLM-Based Multi-Agent Systems via Diversity

Yingxuan Yang, Chengrui Qu+6 more|arXiv (Cornell University)|Feb 3, 2026

Reinforcement Learning in Robotics被引用 2

一句话总结

论文提出一个信息论框架，显示 MAS 的性能受任务内部不确定性的约束，代理之间的多样性在同质扩展上带来稳定的收益；并引入有效信道数 K* 来量化非冗余信息源，并通过实验予以验证。

ABSTRACT

LLM-based multi-agent systems (MAS) have emerged as a promising approach to tackle complex tasks that are difficult for individual LLMs. A natural strategy is to scale performance by increasing the number of agents; however, we find that such scaling exhibits strong diminishing returns in homogeneous settings, while introducing heterogeneity (e.g., different models, prompts, or tools) continues to yield substantial gains. This raises a fundamental question: what limits scaling, and why does diversity help? We present an information-theoretic framework showing that MAS performance is bounded by the intrinsic task uncertainty, not by agent count. We derive architecture-agnostic bounds demonstrating that improvements depend on how many effective channels the system accesses. Homogeneous agents saturate early because their outputs are strongly correlated, whereas heterogeneous agents contribute complementary evidence. We further introduce $K^*$, an effective channel count that quantifies the number of effective channels without ground-truth labels. Empirically, we show that heterogeneous configurations consistently outperform homogeneous scaling: 2 diverse agents can match or exceed the performance of 16 homogeneous agents. Our results provide principled guidelines for building efficient and robust MAS through diversity-aware design. Code and Dataset are available at the link: https://github.com/SafeRL-Lab/Agent-Scaling.

研究动机与目标

• 通过强调同质基于 LLM 的 MAS 的扩展受限来激发研究。
• 建立一个信息论模型，将 MAS 的性能限定在任务内在不确定性之上。
• 引入有效信道数 K* 与互补性速率 α，以量化非冗余信息源。
• 在匹配计算资源下，实证验证异质配置优于同质扩展。

提出的方法

• 将 MAS 正式化为 n 个代理调用，从输入 X 和目标 Y 产生转录 Z1:n。
• 定义可用证据 I_MAS(n) = I(Z1:n; Y | X)，并分析其增量贡献 Δi。
• 推导与架构无关的上界，显示 I_MAS(n) ≤ H(Y|X) 且依赖于配置类型。
• 引入有效信道数 K 与互补性速率 α 以捕捉非冗余信息通道。
• 提出 K* 作为基于代理输出嵌入空间多样性的无标注代理 K 的代理指示符。
• 给出理论结果（几何收缩）和在投票与辩论工作流中的经验验证。

实验结果

研究问题

• RQ1 LLM 基于多代理系统的扩展有哪些极限？
• RQ2 代理之间的多样性如何影响信息增益和性能，相对于同质扩展？
• RQ3 是否能用一个实用度量在没有地面真实标签的情况下量化非冗余信息通道？
• RQ4 不同的 MAS 工作流（投票 vs 辩论）在对代理多样性的依赖上有何差异？

主要发现

• 同质扩展由于输出高度相关和有效信道受限而呈现显著的收益递减。
• 具备多样性意识的异质 MAS 配置在匹配计算资源下普遍优于同质扩展。
• 两个多样化代理可以达到甚至超过一个大规模同质集合的性能，体现了效率提升。
• 乘积 αK（互补性速率乘以有效信道数）决定可恢复的信息量，并呈现快-慢增长的模式。
• K* 与经验性能一致并随多样性增加而提高，K* 越高在各任务上通常相关于更高的准确性。
• 将 K* 分解为正确推理与错误推理的多样性，显示存在一个经验边界：当更高的 K*c 相对于 K*w 时，与更好性能相符。