[论文解读] SocraSynth: Multi-LLM Reasoning with Conditional Statistics

Edward Yi Chang|arXiv (Cornell University)|Jan 19, 2024

Natural Language Processing Techniques被引用 6

一句话总结

SocraSynth 是一个多LLM代理平台，使用条件统计、争论性调节、上下文细化和合理性评估来生成和评估开放式推理，通过对立的LLM代理与人类主持人之间的苏格拉底式对话来减少偏见和幻觉。

ABSTRACT

Large language models (LLMs), while promising, face criticisms for biases, hallucinations, and a lack of reasoning capability. This paper introduces SocraSynth, a multi-LLM agent reasoning platform developed to mitigate these issues. SocraSynth utilizes conditional statistics and systematic context enhancement through continuous arguments, alongside adjustable debate contentiousness levels. The platform typically involves a human moderator and two LLM agents representing opposing viewpoints on a given subject. SocraSynth operates in two main phases: knowledge generation and reasoning evaluation. In the knowledge generation phase, the moderator defines the debate topic and contentiousness level, prompting the agents to formulate supporting arguments for their respective stances. The reasoning evaluation phase then employs Socratic reasoning and formal logic principles to appraise the quality of the arguments presented. The dialogue concludes with the moderator adjusting the contentiousness from confrontational to collaborative, gathering final, conciliatory remarks to aid in human reasoning and decision-making. Through case studies in three distinct application domains, this paper showcases SocraSynth's effectiveness in fostering rigorous research, dynamic reasoning, comprehensive assessment, and enhanced collaboration. This underscores the value of multi-agent interactions in leveraging LLMs for advanced knowledge extraction and decision-making support.

研究动机与目标

• 通过引入一个协作的多代理推理平台，激发减轻LLM中的偏见、幻觉和受限推理的需求。
• 提出一个由知识生成与推理评估组成的两阶段工作流，利用对立的LLM观点和一位人类主持人。
• 介绍四项核心算法创新——条件统计、争论性调节、上下文细化和合理性评估——以提升推理质量。
• 在多领域展示该框架，以展示信息质量、观点多样性和决策支持能力的提升。

提出的方法

• 在一个主题上由两位LLM进行辩论并有一名人类主持人，LLMs倡导对立观点。
• 生成阶段使用条件统计来产生论点与反论点，并逐步完善上下文。
• 评估阶段使用 CRIT 算法，通过以合理性优先于真相来评估论点的有效性和可信度。
• 争论性调节将辩论从对抗转变为协作，帮助缓解偏见。
• 上下文细化以持续提升所生成推理的相关性和准确性。
• 人类评审（通过多位LLM）评估整体论证质量并确定偏好的立场。

实验结果

研究问题

• RQ1 两代理辩论结合条件统计相比单向问答在信息质量方面有何影响？
• RQ2 基于 CRIT 的推理评估是否能在不同主题中可靠评估论证的有效性和可信度？
• RQ3 动态争论性对偏见缓解和推理深度的影响是什么？
• RQ4 迭代辩论是否能减少幻觉并提升跨领域话语的上下文？

主要发现

• 基于辩论的 SocraSynth 在评估主题上通常比传统问答获得更高的信息质量。
• 基于 CRIT 的推理评估提供一个结构化、以合理性为核心的论点与反论点可信度评分机制。
• 争论性调节有助于暴露更广泛的观点并缓解LLM中的模型偏见。
• 带有上下文细化的迭代回合减少了无关或不合逻辑陈述的持续存在。
• 该框架在地缘政治、医疗、销售策略和知识管理等领域显示出适用性，表明具有广泛的实用性。