[论文解读] Unsupervised Dialog Structure Learning

Weiyan Shi, Tiancheng Zhao+1 more|arXiv (Cornell University)|Apr 7, 2019

Topic Modeling参考文献 26被引用 12

一句话总结

该论文提出了一种无监督方法，利用离散变分循环神经网络（Discrete-VRNN）结合Gumbel-Softmax来建模任务导向对话中的潜在状态与转移，从而学习对话结构。该方法在结构发现方面优于先前基于HMM的模型，并通过将学习到的转移概率整合到奖励函数中，提升了强化学习基对话系统训练的效率，加速了收敛并提高了成功率。

ABSTRACT

Learning a shared dialog structure from a set of task-oriented dialogs is an important challenge in computational linguistics. The learned dialog structure can shed light on how to analyze human dialogs, and more importantly contribute to the design and evaluation of dialog systems. We propose to extract dialog structures using a modified VRNN model with discrete latent vectors. Different from existing HMM-based models, our model is based on variational-autoencoder (VAE). Such model is able to capture more dynamics in dialogs beyond the surface forms of the language. We find that qualitatively, our method extracts meaningful dialog structure, and quantitatively, outperforms previous models on the ability to predict unseen data. We further evaluate the model's effectiveness in a downstream task, the dialog system building task. Experiments show that, by integrating the learned dialog structure into the reward function design, the model converges faster and to a better outcome in a reinforcement learning setting.

研究动机与目标

• 从人类之间的任务导向对话中自动发现潜在对话结构，且无需人工标注。
• 建模传统HMM无法处理的复杂非线性对话动态。
• 通过将学习到的对话结构融入强化学习奖励设计，提升下游对话系统训练效果。
• 开发一种可解释的离散潜在变量模型，以捕捉有意义的对话流程与状态转移。

提出的方法

• 采用改进的变分循环神经网络（VRNN），使用Gumbel-Softmax重参数化方法实现离散潜在向量，以增强可解释性。
• 将每对话语表示为属于某一潜在状态，状态间的转移由转移概率表控制。
• 提出两种变体：D-VRNN（间接转移建模）与DD-VRNN（直接转移建模），以捕捉状态依赖关系。
• 利用变分推断联合优化话语重建与潜在对话结构发现。
• 将预测转移分布与学习到的转移分布之间的KL散度作为强化学习奖励函数中的信号。
• 通过设计惩罚偏离真实对话模式的奖励函数，将学习到的对话结构整合到强化学习中。

实验结果

研究问题

• RQ1 具有离散潜在变量的深度生成模型能否有效从原始、无标注的任务导向对话中发现有意义的对话结构？
• RQ2 所提出的Discrete-VRNN模型在无监督对话结构学习方面相较于基于HMM的基线模型表现如何？
• RQ3 学习到的对话结构在多大程度上能提升强化学习基对话系统训练的效率与成功率？
• RQ4 将预测与真实转移分布之间的KL散度引入强化学习奖励函数，是否能带来更快的收敛速度与更优的策略性能？

主要发现

• 与先前基于HMM的模型相比，Discrete-VRNN在无监督对话结构学习方面在定性和定量层面均表现出更优性能。
• KL奖励函数通过惩罚预测与真实转移分布之间的差异，显著加快了强化学习训练的收敛速度并提升了成功率。
• KL奖励与重复惩罚（KL+Rep）的结合实现了最稳定且最高的最终成功率，优于单一奖励组件。
• 由于在奖励函数中引入了结构化、数据驱动的转移信号，模型收敛到更优策略的速度更快，且方差更小。
• 学习到的转移概率表能够捕捉真实世界对话模式，如餐厅预订任务中的典型对话流程，并有效引导策略学习。