[论文解读] MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation

Yongkang Liu, Feng Shi+2 more|arXiv (Cornell University)|Aug 18, 2022

Topic Modeling被引用 5

一句话总结

MulZDG 是一种多语言代码切换框架，通过在英语单语数据中引入多语言代码切换语句进行联合训练，实现零样本对话生成。该方法在低资源语言上表现优异，并通过跨语言隐式语义对齐提升了源语言性能，在人类评估中相比单语基线模型最高提升6%。

ABSTRACT

Building dialogue generation systems in a zero-shot scenario remains a huge challenge, since the typical zero-shot approaches in dialogue generation rely heavily on large-scale pre-trained language generation models such as GPT-3 and T5. The research on zero-shot dialogue generation without cumbersome language models is limited due to lacking corresponding parallel dialogue corpora. In this paper, we propose a simple but effective Multilingual learning framework for Zero-shot Dialogue Generation (dubbed as MulZDG) that can effectively transfer knowledge from an English corpus with large-scale training samples to a non-English corpus with zero samples. Besides, MulZDG can be viewed as a multilingual data augmentation method to improve the performance of the resource-rich language. First, we construct multilingual code-switching dialogue datasets via translation utterances randomly selected from monolingual English datasets. Then we employ MulZDG to train a unified multilingual dialogue model based on the code-switching datasets. The MulZDG can conduct implicit semantic alignment between different languages. Experiments on DailyDialog and DSTC7 datasets demonstrate that MulZDG not only achieve competitive performance under zero-shot case compared to training with sufficient examples but also greatly improve the performance of the source language.

研究动机与目标

• 解决缺乏训练数据的低资源语言在零样本对话生成中的挑战。
• 开发一种数据增强方法，同时提升零样本目标语言和资源丰富的源语言性能。
• 在无需平行单语语料的情况下，实现语言间的隐式语义对齐。
• 构建并发布多语言代码切换对话数据集，涵盖 DailyDialog 和 DSTC7。
• 证明多语言代码切换可作为对话生成中有效的零样本迁移学习机制。

提出的方法

• 通过神经机器翻译（NMT）和双语词典，将英语单语数据集（DailyDialog、DSTC7）中的随机语句翻译成目标语言，构建多语言代码切换对话数据集。
• 在代码切换数据上使用编码器-解码器架构训练统一的多语言对话模型，实现在多语言间的联合学习。
• 采用多任务学习结构，使模型在不同语言间共享参数，促进共享语义表征。
• 通过语句级别的代码切换，在无平行句子对的情况下实现源语言与目标语言间的隐式语义对齐。
• 利用模型基于输入提示生成多种语言响应的能力，结合语言间共享的注意力机制与表征学习。
• 可视化并分析学习到的表征，确认跨语言语义等价的语句聚集在一起，表明有效的跨语言对齐。

实验结果

研究问题

• RQ1 多语言代码切换能否有效将高资源语言（英语）的知识迁移至无训练样本的低资源语言？
• RQ2 代码切换训练数据中目标语言数量的多少如何影响模型在零样本生成中的性能？
• RQ3 与单语训练相比，多语言代码切换框架在多大程度上提升了源语言（英语）的性能？
• RQ4 模型如何在无平行语料的情况下实现不同语言间的隐式语义对齐？
• RQ5 多语言表征学习在零样本设置下对响应流畅性与相关性有何影响？

主要发现

• 与单语基线相比，MulZDG 在人类评估中将目标语言的零样本性能最高提升5%，证明了知识迁移的有效性。
• 与单语训练相比，使用多语言代码切换数据时，模型在 DailyDialog 上平均提升6.0%的人类评估得分，在 DSTC7 上提升3.5%。
• 随着代码切换训练数据中语言数量的增加，零样本目标语言的性能持续提升，表明方法具备可扩展性。
• 表征可视化结果表明，跨语言语义等价的语句聚集在一起，验证了隐式语义对齐的有效性。
• 该框架使源语言（英语）的性能提升1.57%（Rouge-L）和0.62%（平均嵌入），表明对低资源与高资源语言均具有双重优势。
• 在多语言评估中，MulZDG 在 BLEU-1 上优于单语模型 0.91%，在 Rouge-L 上提升 1.57%，在 dist-1 上提升 0.44%，显示出强劲的自动指标提升。