[论文解读] Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation

Tiancheng Zhao, Kyusong Lee+1 more|arXiv (Cornell University)|Apr 22, 2018

Topic Modeling参考文献 33被引用 23

一句话总结

本文提出 DI-VAE 和 DI-VST，两种无监督离散句表示模型，通过变分自编码器结合互信息最大化与上下文预测，学习可解释的潜在动作。将这些方法集成到编码器-解码器对话模型中，可实现可控且人类可理解的响应生成，在真实对话数据集上实现了分离语义表征与属性控制的最先进性能。

ABSTRACT

The encoder-decoder dialog model is one of the most prominent methods used to build dialog systems in complex domains. Yet it is limited because it cannot output interpretable actions as in traditional systems, which hinders humans from understanding its generation process. We present an unsupervised discrete sentence representation learning method that can integrate with any existing encoder-decoder dialog models for interpretable response generation. Building upon variational autoencoders (VAEs), we present two novel models, DI-VAE and DI-VST that improve VAEs and can discover interpretable semantics via either auto encoding or context predicting. Our methods have been validated on real-world dialog datasets to discover semantic representations and enhance encoder-decoder models with interpretable generation.

研究动机与目标

• 为解决神经对话系统缺乏可解释性的问题，此类系统无法像传统系统那样输出人类可理解的动作。
• 从未标注的对话数据中学习有意义的离散潜在表征（潜在动作），无需人工标注。
• 将这些离散表征集成到现有编码器-解码器模型中，以实现可解释且可控的响应生成。
• 通过克服 ELBO 目标在学习离散变量时的反信息偏差，改进变分自编码器。
• 通过引入离散版的 Skip Thought 模型进行上下文预测，提供超越自编码的更强学习信号。

提出的方法

• 提出 DI-VAE，一种离散信息变分自编码器，通过最大化输入句与离散潜在变量之间的互信息，克服 ELBO 的反信息偏差。
• 提出 DI-VST，一种 Skip Thought 模型的离散变体，通过预测对话上下文中的前后话语来学习句子表征。
• 采用 Gumbel-Softmax 重参数化技巧，实现神经网络中离散潜在变量的可微训练。
• 设计联合训练框架，将潜在动作用于条件化编码器-解码器架构中的解码器，以实现响应生成。
• 引入属性损失 $\mathcal{L}_{\text{attr}}$，使生成的响应与预测的潜在动作对齐，提升控制力与一致性。
• 使用策略网络 $\pi$ 从对话上下文中预测潜在动作，实现端到端的可解释对话生成。

实验结果

研究问题

• RQ1 无监督离散句表示学习能否从未标注对话数据中发现可解释且语义有意义的潜在动作？
• RQ2 与标准 VAE 相比，最大化输入与潜在变量之间互信息在提升离散表征质量方面有何优势？
• RQ3 通过 DI-VST 实现的上下文预测，是否能提供比自编码更强或互补的信号，以学习解耦的句子表征？
• RQ4 所学习的离散潜在动作在多大程度上能控制生成响应的特定属性，如对话行为或响应类型？
• RQ5 策略网络 $\pi$ 能在多大程度上从对话上下文中准确预测正确的潜在动作？这种预测能力在不同对话领域中是否存在差异？

主要发现

• DI-VAE 与 DI-VST 在学习有意义的离散潜在表征方面显著优于标准 VAE，在 SMD 数据集上结合 $\mathcal{L}_{\text{attr}}$ 后，属性准确率达到 94.8%。
• 将潜在动作集成到编码器-解码器框架中，可实现可控的响应生成，生成的响应与给定潜在动作高度一致。
• 加入 $\mathcal{L}_{\text{attr}}$ 可提升生成控制力，尤其在 SW 与 DD 等具有挑战性的开放域数据集上，ST-ED 的属性准确率从 57.3% 提升至 61.3%。
• 策略网络 $\pi$ 在 SMD 上的困惑度（perplexity）为 1.695，准确率达 75.5%，表明基于上下文的潜在动作比基于自编码的更易预测。
• 基于 DI-VST 的潜在动作比基于 DI-VAE 的动作更易被策略网络预测，表明上下文感知表征更适合高层对话策略学习。
• 推理示例显示，AE-ED 生成细粒度但准确性较低的动作（如 'give loc info' 的概率仅为 34%），而 ST-ED 生成更自信且可解释的动作（如 'give loc info' 的概率达 93%）。