[论文解读] TPE: Towards Better Compositional Reasoning over Conceptual Tools with Multi-persona Collaboration

Hongru Wang, Huimin Wang+7 more|arXiv (Cornell University)|Sep 28, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出TPE，一种多人格协作框架，通过将响应生成分解为三个角色——思考者（分析用户上下文）、规划者（规划概念工具的使用）和执行者（执行并整合响应）——来增强对话系统中的组合性推理。TPE提升了对概念工具（如知识源和辅导策略）的推理能力，在多源（FoCus）和多策略（CIMA、PsyQA）对话基准上实现了最先进性能，同时减少了标记冗余并增强了可解释性。

ABSTRACT

Large language models (LLMs) have demonstrated exceptional performance in planning the use of various functional tools, such as calculators and retrievers, particularly in question-answering tasks. In this paper, we expand the definition of these tools, centering on conceptual tools within the context of dialogue systems. A conceptual tool specifies a cognitive concept that aids systematic or investigative thought. These conceptual tools play important roles in practice, such as multiple psychological or tutoring strategies being dynamically applied in a single turn to compose helpful responses. To further enhance the reasoning and planning capability of LLMs with these conceptual tools, we introduce a multi-persona collaboration framework: Think-Plan-Execute (TPE). This framework decouples the response generation process into three distinct roles: Thinker, Planner, and Executor. Specifically, the Thinker analyzes the internal status exhibited in the dialogue context, such as user emotions and preferences, to formulate a global guideline. The Planner then generates executable plans to call different conceptual tools (e.g., sources or strategies), while the Executor compiles all intermediate results into a coherent response. This structured approach not only enhances the explainability and controllability of responses but also reduces token redundancy. We demonstrate the effectiveness of TPE across various dialogue response generation tasks, including multi-source (FoCus) and multi-strategy interactions (CIMA and PsyQA). This reveals its potential to handle real-world dialogue interactions that require more complicated tool learning beyond just functional tools. The full code and data will be released for reproduction.

研究动机与目标

• 解决现有基于大语言模型的对话系统主要处理功能工具（如API、检索器）但未能充分利用概念工具——如心理策略或知识源等支持系统性思维的心理建构——的局限性。
• 提升大语言模型在需要动态、多步整合多样化概念工具的复杂对话场景中的推理与规划能力。
• 通过将推理过程结构化为不同角色的阶段，增强响应的可解释性、可控性和个性化。
• 在超越传统功能工具使用的多种对话任务中，展示该框架在涉及多个来源和策略的场景下的有效性。

提出的方法

• TPE框架引入三种不同的角色：思考者、规划者和执行者，分别负责响应生成的不同阶段。
• 思考者分析对话上下文，推断用户情绪、偏好和意图，生成响应生成的全局指导方针。
• 规划者基于思考者的输出，制定一系列可执行操作，以调用概念工具（如文档检索器或心理策略）。
• 执行者将多个概念工具的中间结果整合为连贯、自然语言的响应。
• 每个组件均通过角色特定的指令进行提示，确保结构化、模块化的推理，减少标记冗余。
• 该框架应用于多源（FoCus）和多策略（CIMA、PsyQA）对话任务，采用零样本提示且无需微调。

实验结果

研究问题

• RQ1 在处理知识源和心理策略等概念工具时，结构化的多人格协作框架是否能提升大语言模型的组合性推理能力？
• RQ2 将推理过程分离为思考者、规划者和执行者角色，对复杂对话系统中响应质量、可解释性和可控性有何影响？
• RQ3 TPE在无需任务特定微调的情况下，能否在需要动态整合多个概念工具的多样化对话任务中实现良好泛化？
• RQ4 与标准自回归生成相比，TPE在多工具对话场景中是否减少了标记冗余？

主要发现

• TPE在多源对话的FoCus基准上实现了最先进性能，展现出对多个知识源的优越推理能力。
• 在多策略辅导对话的CIMA基准上，TPE通过以情境适当顺序有效组合提示、问题和纠正等教育策略，优于强基线模型。
• 通过将规划与执行解耦，TPE显著减少了标记冗余，使响应更加简洁和聚焦。
• TPE通过将推理过程模块化并借助独立的人格角色实现可追溯性，从而增强了响应的可解释性和可控性。
• TPE在多样化对话任务中的零样本应用展现出强大的泛化能力，表明其在微调模型之外也具有鲁棒性。
• 消融研究证实，每个组件——思考者、规划者、执行者——均对最终性能有显著贡献，验证了多人格协作设计的有效性。