[论文解读] Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration

Yang Deng, Lizi Liao+4 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 5

一句话总结

本文提出主动思维链（Proactive Chain-of-Thought, ProCoT）提示方法，以增强大语言模型（LLMs）在主动对话系统中的表现，使其能够生成澄清问题、引导对话向目标推进，并进行战略性协商。ProCoT提升了LLMs的规划与主动行为能力，但在特定领域和战略性协商任务中的表现仍有限。

ABSTRACT

Conversational systems based on Large Language Models (LLMs), such as ChatGPT, show exceptional proficiency in context understanding and response generation. However, despite their impressive capabilities, they still possess limitations, such as providing randomly-guessed answers to ambiguous queries or failing to refuse users' requests, both of which are considered aspects of a conversational agent's proactivity. This raises the question of whether LLM-based conversational systems are equipped to handle proactive dialogue problems. In this work, we conduct a comprehensive analysis of LLM-based conversational systems, specifically focusing on three aspects of proactive dialogue systems: clarification, target-guided, and non-collaborative dialogues. To trigger the proactivity of LLMs, we propose the Proactive Chain-of-Thought prompting scheme, which augments LLMs with the goal planning capability over descriptive reasoning chains. Empirical findings are discussed to promote future studies on LLM-based proactive dialogue systems.

研究动机与目标

• 探究基于LLM的对话代理是否能有效处理主动对话任务，如澄清、目标导向对话及非协作性协商。
• 弥补LLMs在主动发起行动（如提出澄清问题或规划战略性回应）方面的能力不足，尽管其响应生成能力较强。
• 设计并评估一种新型提示方法——主动思维链（ProCoT），以触发LLMs的推理与目标规划，实现主动行为。
• 在三种主动对话场景中，将基于LLM的系统与微调后的SOTA对话模型进行对比，以评估性能与局限性。

提出的方法

• 提出主动思维链（ProCoT）提示方法，指导LLMs在采取行动前生成描述性推理链。
• 将ProCoT划分为三个阶段：(1) 推理实现对话目标的中间步骤，(2) 决定下一步行动，(3) 基于所选行动生成回应。
• 实现三种提示方案：标准提示（直接生成回应）、主动提示（提供对话行为选项）、ProCoT（包含推理与规划步骤）。
• 在三种对话类型中评估两种LLMs——ChatGPT与Vicuna 13B：信息获取中的澄清对话、目标导向的开放域对话，以及非协作性协商对话。
• 使用自动化指标如销售价/挂牌价比率（Sale-to-List Ratio）和对话行为准确率，评估协商效果与战略性决策能力。
• 对模型行为进行定性与定量分析，包括策略分布及协商行为中的错误模式。

Figure 1: Examples of three kinds of prompting schemes for proactive dialogues. In the example of non-collaborative dialogue, the system plays the role of "Buyer", and the sale-to-list (SL) ratio shows the effectiveness of negotiation, which is calculated by ( $\text{listed price}-\text{bargain pric

实验结果

研究问题

• RQ1 当面对模糊的用户查询时，像ChatGPT和Vicuna这样的LLMs能否主动提出澄清问题？
• RQ2 LLMs在多大程度上能将开放域对话引导至预设的目标话题？其话题转换的自然程度如何？
• RQ3 在非协作性协商对话中，LLMs能否做出战略性、非让步的决策，还是默认采取妥协行为？
• RQ4 主动思维链（ProCoT）提示方法在提升LLMs在上述三类对话中的规划与主动性方面有多有效？
• RQ5 LLMs在主动对话中的关键失败模式与局限性是什么，特别是在特定领域或高风险协商场景中？

主要发现

• 使用标准提示的LLMs在遇到模糊查询时很少主动提出澄清问题，表明其在信息获取对话中的主动性较差。
• ProCoT显著提升了澄清问题的生成频率，但在特定领域应用中表现仍不理想。
• LLMs倾向于激进地转向目标话题，但ProCoT通过计划性推理实现了更平滑、更具策略性的过渡。
• 在非协作性协商中，LLMs默认采用让步策略，如使用模糊表达或立即接受提议，导致销售价/挂牌价比率偏低。
• ProCoT通过鼓励提出反提案，提升了协商中的战略性决策能力，但LLMs在最大化自身利益方面的规划能力仍较弱。
• 尽管在可控响应生成方面表现优异，LLMs在动态交互式对话环境中仍难以实现长期战略规划与目标导向行为。

Figure 2: Heatmaps on the relationships between target and predicted dialogue acts. As no dialogue act is predicted in standard prompting, a dialogue act classifier is trained to identify the dialogue act of the generated response.