[论文解读] Zero-Shot Dialog Generation with Cross-Domain Latent Actions

Tiancheng Zhao, Maxine Eskénazi|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 28被引用 17

一句话总结

本文提出零样本对话生成（ZSDG），使神经对话系统仅通过领域描述而无需训练对话数据，即可在未见领域生成响应。它引入了动作匹配（AM）框架，通过学习跨领域的潜在动作空间来对齐不同领域间的语义，从而在合成数据集和真实对话数据集上均实现了出色的零样本性能。

ABSTRACT

This paper introduces zero-shot dialog generation (ZSDG), as a step towards neural dialog systems that can instantly generalize to new situations with minimal data. ZSDG enables an end-to-end generative dialog system to generalize to a new domain for which only a domain description is provided and no training dialogs are available. Then a novel learning framework, Action Matching, is proposed. This algorithm can learn a cross-domain embedding space that models the semantics of dialog responses which, in turn, lets a neural dialog generation model generalize to new domains. We evaluate our methods on a new synthetic dialog dataset, and an existing human-human dialog dataset. Results show that our method has superior performance in learning dialog models that rapidly adapt their behavior to new domains and suggests promising future research.

研究动机与目标

• 解决神经对话系统中的数据稀缺问题，即新领域缺乏或完全没有训练数据。
• 使端到端生成式对话模型能够在极少数据条件下泛化到未见领域。
• 开发一种利用领域描述而非标注对话样本的方法，以实现快速适应。
• 将零样本对话生成形式化为利用跨领域语义对齐的学习问题。
• 构建一个实用框架，使对话系统能够无需大量人工标注对话数据即可部署于新领域。

提出的方法

• 提出零样本对话生成（ZSDG）作为一种新型学习范式，使模型仅通过领域描述而无需训练对话即可泛化到新领域。
• 引入动作匹配（AM）算法，该算法通过学习共享的跨领域潜在动作空间，实现不同领域间对话响应语义的对齐。
• 使用对话策略网络生成在源领域和目标领域间共享的分布式潜在动作。
• 训练一个带有注意力机制和复制机制的编码器-解码器模型，并通过AM增强其在未见领域生成新话语的能力。
• 利用合成多领域对话数据集SimDial生成多样化训练数据并评估ZSDG性能。
• 将目标领域的种子响应（SR）作为领域描述的一种形式，且随着SR数量增加，性能也随之提升。

实验结果

研究问题

• RQ1 神经对话生成模型能否在无任何训练对话的情况下，仅通过领域描述泛化到新领域？
• RQ2 动作匹配（AM）框架在学习跨领域语义对齐以用于对话响应生成方面效果如何？
• RQ3 用作领域描述的种子响应（SR）规模对ZSDG性能有何影响？
• RQ4 模型能否在对话初期生成新颖话语，尤其是在无法从上下文复制内容时？
• RQ5 与具备注意力和复制机制的基线方法相比，所提方法在零样本设置下的表现如何？

主要发现

• +Copy+AM模型在SimDial的新电影领域上达到BLEU分数8.1，显著优于+Attn（4.8）和+Copy（4.4）。
• 在SMD数据集上，+Copy+AM在未见电影领域达到31.0的实体F1分数，接近51.9的最优性能（oracle）。
• 采用AM的模型能够在对话初期生成新颖话语，而+Copy基线因缺乏可复制的上下文而失败。
• 在SMD日程领域，随着种子响应（SR）数量的增加，性能持续提升，100个SR已接近200个SR的最优性能。
• 定性分析表明，仅AM训练的模型能正确泛化功能相似的响应（例如，将'电影55是一部很棒的电影'正确迁移到新领域，而非'55路公交车可带您前往'）。
• 动作匹配框架使模型能够推断不同领域间响应的语义相似性，从而准确生成未登录词和未见槽位值。