[论文解读] "Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs

Shuo Zhang, Junzhou Zhao+4 more|arXiv (Cornell University)|Apr 25, 2022

Speech and dialogue systems被引用 4

一句话总结

本文提出规划增强对话策略（PEDP），一种监督式多任务学习框架，通过在多动作预测前基于模型规划模拟单动作对话片段，提升多动作对话策略性能。通过学习单动作动态并聚合多条规划路径的预测结果，PEDP在MultiWOZ数据集上实现了90.6%的任务成功率，相比最先进方法提升3%，且无需依赖强化学习或外部数据。

ABSTRACT

Multi-action dialog policy (MADP), which generates multiple atomic dialog actions per turn, has been widely applied in task-oriented dialog systems to provide expressive and efficient system responses. Existing MADP models usually imitate action combinations from the labeled multi-action dialog samples. Due to data limitations, they generalize poorly toward unseen dialog flows. While interactive learning and reinforcement learning algorithms can be applied to incorporate external data sources of real users and user simulators, they take significant manual effort to build and suffer from instability. To address these issues, we propose Planning Enhanced Dialog Policy (PEDP), a novel multi-task learning framework that learns single-action dialog dynamics to enhance multi-action prediction. Our PEDP method employs model-based planning for conceiving what to express before deciding the current response through simulating single-action dialogs. Experimental results on the MultiWOZ dataset demonstrate that our fully supervised learning-based method achieves a solid task success rate of 90.6%, improving 3% compared to the state-of-the-art methods.

研究动机与目标

• 为解决监督式多动作对话策略（MADP）模型在未见对话流程中泛化能力差的问题，原因在于标注数据有限。
• 克服模仿学习在捕捉训练数据中未出现的多样化、上下文相关动作组合方面的局限。
• 在不依赖昂贵人工标注、用户模拟器或不稳定强化学习的前提下，提升对话策略性能。
• 通过在生成多动作响应前模拟合理的单动作对话片段，增强MADP的决策能力。
• 通过联合学习单动作动态与多动作预测，实现更优的性能与鲁棒性。

提出的方法

• 引入单动作对话规划模块，利用基于模型的规划，从当前对话状态模拟多条单动作对话片段（路径）。
• 在离散对话策略与世界模型之间采用“自对弈”机制，模拟每条路径中多轮用户交互。
• 使用集成预测模块，聚合多条规划路径上的多动作预测概率，提升鲁棒性并降低方差。
• 在仅使用现有标注对话数据的监督学习框架下端到端训练模型，避免外部数据收集。
• 利用上下文相关的单动作动态引导并支持多动作预测，增强推理能力与可解释性。
• 应用多任务学习，联合优化单动作对话规划与最终多动作响应生成。

实验结果

研究问题

• RQ1 模拟单动作对话片段是否能提升多动作对话策略在未见对话场景中的泛化能力？
• RQ2 与直接模仿多动作组合相比，基于模型的单动作对话路径规划如何提升多动作预测性能？
• RQ3 单动作动态的多任务学习在多动作对话策略学习中能在多大程度上提升鲁棒性与稳定性？
• RQ4 所提方法是否能在不依赖强化学习或人工参与数据收集的前提下，超越最先进方法？
• RQ5 规划模块与集成模块的各组成部分对整体性能提升的独立贡献如何？

主要发现

• PEDP在MultiWOZ数据集上实现90.6%的任务成功率，相比最先进方法提升3个百分点。
• 单动作对话规划模块对性能提升的贡献大于集成预测模块，后者主要起稳定结果与降低标准差的作用。
• 推理阶段的动作采样提升匹配率与信息告知召回率，但降低信息告知精确率，表明响应中可能存在冗余。
• 人工评估显示，PEDP在用户体验方面优于基线模型（GDPL、DiaAdv、DiaSeq），Krippendorff’s alpha为0.820–0.856，表明评分者间一致性高。
• 尽管信息告知精确率略低（0.79），但人类用户更重视目标完成度而非冗余，表明性能差距对用户体验影响有限。
• 消融实验验证了所提方法的鲁棒性与有效性，敏感性分析显示在不同规划路径数（K）下性能保持稳定。