[论文解读] Multi-Task Learning for Speaker-Role Adaptation in Neural Conversation Models

Yi Luan, Chris Brockett+3 more|arXiv (Cornell University)|Oct 20, 2017

Topic Modeling参考文献 26被引用 65

一句话总结

本论文提出一个多任务学习框架，结合 Seq2Seq 会话建模与在非对话数据上训练的自编码器，以使神经聊天模型适应说话者角色，从而在 Twitter 数据上提高困惑度、BLEU 和人工评估。

ABSTRACT

Building a persona-based conversation agent is challenging owing to the lack of large amounts of speaker-specific conversation data for model training. This paper addresses the problem by proposing a multi-task learning approach to training neural conversation models that leverages both conversation data across speakers and other types of data pertaining to the speaker and speaker roles to be modeled. Experiments show that our approach leads to significant improvements over baseline model quality, generating responses that capture more precisely speakers' traits and speaking styles. The model offers the benefits of being algorithmically simple and easy to implement, and not relying on large quantities of data representing specific individual speakers.

研究动机与目标

• 通过利用跨说话者对话数据和非对话数据来解决缺乏说话者特定对话数据的问题。
• 开发一个多任务训练方案，在 Seq2Seq 会话模型与自编码器之间共享解码器参数。
• 证明共享的解码器参数可以在不需要大量来自单一说话者数据的情况下，适应目标说话者角色。

提出的方法

• 采用两项任务：面向大量一般人群说话者的 Seq2Seq 会话任务，以及针对目标说话者的非对话数据的自编码器任务。
• 仅在 Seq2Seq 模型与自编码器之间共享解码器参数，以实现说话者自适应的生成。
• 通过交替任务批次进行训练，并在开发集上基于 Seq2Seq 的困惑度来选择模型。

实验结果

研究问题

• RQ1 是否可以利用非对话、说话者特定的数据，通过多任务学习将通用会话模型适应到说话者角色？
• RQ2 在 Seq2Seq 与自编码器任务之间共享解码器是否能提升模型反映说话者特征和讲话风格的能力？
• RQ3 在真实 Twitter 数据上，结合多任务方法是否比仅使用 MMI 的基线 Seq2Seq 在困惑度和 BLEU 上更有效？
• RQ4 说话者嵌入（MTask-M）在效率和性能方面是否优于以说话者为单位的专用模型（MTask-S）？
• RQ5 在人工评估中，这些模型在捕捉目标作者的风格和领域特征方面的表现如何？

主要发现

模型	困惑度（dev）	困惑度（test）	BLEU（dev）	BLEU（test）	distinct-1（dev）	distinct-2（dev）
Baseline	56.33	61.17	1.32	1.31	1.69%	6.53%
MTask-S	32.27	39.83	1.76	1.69	2.43%	10.2%
MTask-M	44.96	43.21	2.52	2.25	2.44%	9.79%

• 多任务模型在困惑度方面较基线有显著下降（开发集：Baseline 56.33；MTask-S 32.27；MTask-M 44.96；开发集下降：分别为 -42.7% 和 -20.2%；测试集：Baseline 61.17；MTask-S 39.83；MTask-M 43.21；测试集下降：分别为 -34.9% 和 -29.4%）。
• 在两种多任务变体上 BLEU 的提升也很显著（开发集：Baseline 1.32；MTask-S 1.76；MTask-M 2.52；增幅分别为 +33.3% 和 +90.1%；测试集：Baseline 1.31；MTask-S 1.69；MTask-M 2.25；增幅分别为 +29.0% 和 +71.7%）。
• Distinct-1 和 Distinct-2 显示两种多任务模型的多样性更高（开发集 Distinct-1：Baseline 1.69%；MTask-S 2.43%；MTask-M 2.44%；开发集 Distinct-2：Baseline 6.53%；MTask-S 10.2%；MTask-M 9.79%）。
• 人工评估表明 MTask-M 相较基线在配对判断上达到统计显著的改善（p = 0.026），且 MTask-S 与 MTask-M 在平均水平上均优于基线。