[论文解读] ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs

Justin Chih-Yao Chen, Swarnadeep Saha+1 more|arXiv (Cornell University)|Sep 22, 2023

Semantic Web and Ontologies被引用 4

一句话总结

ReConcile 提出了一种多模型、多智能体框架，其中不同大语言模型（如 ChatGPT、Bard、Claude2）通过迭代的圆桌讨论来提升推理能力，实现共识。通过结合置信度加权投票与具有说服力的解释生成，ReConcile 显著提升了推理性能，在关键基准测试中使 GPT-4 的准确率提升 10.0%，并比先前基线方法高出 7.7%。

ABSTRACT

Large Language Models (LLMs) still struggle with natural language reasoning tasks. Motivated by the society of minds (Minsky, 1988), we propose ReConcile, a multi-model multi-agent framework designed as a round table conference among diverse LLM agents. ReConcile enhances collaborative reasoning between LLM agents via multiple rounds of discussion, learning to convince other agents to improve their answers, and employing a confidence-weighted voting mechanism that leads to a better consensus. In each round, ReConcile initiates discussion between agents via a 'discussion prompt' that consists of (a) grouped answers and explanations generated by each agent in the previous round, (b) their confidence scores, and (c) demonstrations of answer-rectifying human explanations, used for convincing other agents. Experiments on seven benchmarks demonstrate that ReConcile significantly improves LLMs' reasoning -- both individually and as a team -- surpassing prior single-agent and multi-agent baselines by up to 11.4% and even outperforming GPT-4 on three datasets. ReConcile also flexibly incorporates different combinations of agents, including API-based, open-source, and domain-specific models, leading to an 8% improvement on MATH. Finally, we analyze the individual components of ReConcile, demonstrating that the diversity originating from different models is critical to its superior performance. Code: https://github.com/dinobby/ReConcile

研究动机与目标

• 为解决大语言模型中单模型推理的局限性，特别是自我反思过程中的思维退化问题以及多智能体辩论中的模型偏见问题。
• 探究来自不同模型家族的多样化大语言模型智能体是否可通过结构化讨论与共识协作来共同提升推理能力。
• 研究置信度估计与具有说服力的解释生成在多模型多智能体推理系统中的影响。
• 证明多样化模型之间的协作讨论可实现比现有基于辩论的方法更快、更准确的共识。

提出的方法

• ReConcile 采用多模型多智能体设置，使用不同的大语言模型（如 ChatGPT、Bard、Claude2）作为智能体，以确保推理与知识基础的多样性。
• 每轮讨论通过结构化的“讨论提示”启动，其中包含先前的答案、不确定性估计以及人工标注的纠正性解释，以引导说服过程。
• 智能体根据他人的见解修改自身回答，目标是纠正错误或通过论证增强对正确答案的信心。
• 采用置信度加权投票机制聚合最终预测，其中每个智能体的置信度分数影响其在共识形成中的投票权重。
• 该框架支持多轮讨论，允许迭代优化，直至达成共识或达到最大轮次限制。
• 通过结合常识推理与数学推理基准对方法进行评估，与单智能体及多智能体基线方法进行性能对比。

实验结果

研究问题

• RQ1 来自不同模型家族的多样化大语言模型智能体是否可通过结构化讨论协作提升推理性能？
• RQ2 引入置信度估计与具有说服力的解释生成是否能实现比现有辩论或自我优化方法更快、更准确的共识？
• RQ3 当 GPT-4 作为 ReConcile 中的一员参与讨论时，其自身推理能力能提升多少？
• RQ4 在收敛速度与最终准确率方面，ReConcile 的共识机制与多智能体辩论基线相比表现如何？

主要发现

• ReConcile 在多个基准测试中显著提升了推理性能，平均优于先前的单智能体与多智能体基线方法 7.7%。
• 当 GPT-4 作为 ReConcile 中的智能体之一时，其初始准确率通过与其他模型的讨论与反馈提升了 10.0 个百分点（绝对值）。
• ReConcile 在达成共识方面优于多智能体辩论基线，表现为每轮讨论后准确率持续提升，体现了更快的收敛速度与更高的最终准确率。
• 该方法表明，将多样化模型的优势与置信度加权投票及具有说服力的反馈相结合，可产生更稳健、更准确的推理结果。
• ReConcile 在多个基准测试中超越了 GPT-4，表明多样化模型之间的协作推理可超越最先进单模型的性能。
• 尽管框架依赖于事后置信度估计与基于 API 的模型，存在一定的局限性，但其结果在这些约束下依然表现强劲。