[论文解读] Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models

Tiancheng Zhao, Kaige Xie+1 more|arXiv (Cornell University)|Feb 23, 2019

Topic Modeling参考文献 40被引用 22

一句话总结

本文提出潜在动作强化学习（LaRL），一种将对话动作视为从数据中无监督学习的潜在变量的框架，使端到端对话智能体能够在无需人工标注标签的情况下发现话语层面的动作。该方法采用正则化变分目标和注意力增强的离散潜在变量，在 MultiWoz 数据集上实现了 18.2% 的成功率绝对提升，优于词级别强化学习，同时避免了退化语言生成。

ABSTRACT

Defining action spaces for conversational agents and optimizing their decision-making process with reinforcement learning is an enduring challenge. Common practice has been to use handcrafted dialog acts, or the output vocabulary, e.g. in neural encoder decoders, as the action spaces. Both have their own limitations. This paper proposes a novel latent action framework that treats the action spaces of an end-to-end dialog agent as latent variables and develops unsupervised methods in order to induce its own action space from the data. Comprehensive experiments are conducted examining both continuous and discrete action types and two different optimization methods based on stochastic variational inference. Results show that the proposed latent actions achieve superior empirical performance improvement over previous word-level policy gradient methods on both DealOrNoDeal and MultiWoz dialogs. Our detailed analysis also provides insights about various latent variable approaches for policy learning and can serve as a foundation for developing better latent actions in future research.

研究动机与目标

• 为解决端到端对话系统中词级别强化学习的局限性，后者在长序列中面临信用分配困难并产生不连贯响应。
• 开发一种无监督方法，用于从数据中诱导出捕捉高层对话语义的潜在动作空间，而无需依赖人工标注的对话行为。
• 探究潜在变量模型如何作为对话智能体中强化学习的有效动作空间，以改善策略优化和响应质量。
• 分析不同潜在变量类型（离散与连续）及训练目标对对话策略性能的影响。
• 减少潜在空间建模中的暴露偏差，并在强化学习微调过程中提升探索能力。

提出的方法

• 提出一种潜在变量框架，其中对话动作被建模为通过变分推断从对话上下文推断出的离散或连续潜在变量。
• 提出一种新颖的正则化证据下界（ELBO）目标 $\mathcal{L}_{lite}$，通过在预训练阶段对齐后验与先验分布，减少暴露偏差。
• 采用注意力机制将离散潜在变量融合到解码器中，提升长序列响应生成效果。
• 应用随机策略梯度方法（如 REINFORCE）优化潜在动作空间以获取特定任务奖励。
• 采用两阶段训练流程：先使用 $\mathcal{L}_{lite}$ 进行预训练，再通过策略梯度强化学习进行微调。
• 比较多种潜在变量类型，包括类别型（Cat）、高斯型（Gauss）及其注意力增强变体（AttnCat、AttnGauss）。

实验结果

研究问题

• RQ1 潜在变量模型能否在无需人工标注对话行为的情况下，从原始对话数据中学习到有意义且高层级的动作空间？
• RQ2 在端到端对话系统中，离散与连续潜在变量的选择如何影响策略学习和响应质量？
• RQ3 正则化变分目标（$\mathcal{L}_{lite}$）是否优于标准 ELBO，从而更有效地减少暴露偏差并提升强化学习性能？
• RQ4 注意力机制能否有效将离散潜在变量整合到解码器中，以建模长而连贯的响应？
• RQ5 潜在空间正则化（通过 $\beta$ 实现）对强化学习中探索能力和最终策略性能有何影响？

主要发现

• 所提出的 $\mathcal{L}_{lite}$ 目标显著优于标准 ELBO，有效减少暴露偏差，并提升预训练与微调阶段的性能。
• 离散类别型潜在动作在策略优化中始终优于高斯连续动作，实现更高奖励与更稳定的训练过程。
• 采用 $\beta = 0.01$ 正则化的潜在动作模型相比无正则化模型，获得显著更高的最终奖励，表明熵正则化对有效探索至关重要。
• LiteCat 与 LiteAttnCat 模型在 MultiWoz 数据集上的成功率相比之前最先进方法实现了 18.2% 的绝对提升。
• LaRL 模型避免了退化语言生成，保持了高响应流畅性与连贯性，而词级别强化学习基线模型则存在此问题。
• LCR 曲线分析表明，潜在动作模型（尤其是离散型）在策略学习中实现了更快且更稳定的收敛。