[论文解读] XL-NBT: A Cross-lingual Neural Belief Tracking Framework

Wenhu Chen, Jianshu Chen+5 more|arXiv (Cornell University)|Aug 19, 2018

Speech and dialogue systems参考文献 25被引用 3

一句话总结

该论文提出 XL-NBT，一种跨语言神经信念追踪框架，通过教师-学生蒸馏方法，将知识从源语言（英语）迁移至低资源目标语言（德语和意大利语）。通过利用双语语料库和词典，该框架将信念追踪器解耦为编码器、门控和解码器模块，实现无需目标语言标注的模块化迁移，在未见目标语言上实现了强大的零样本性能。

ABSTRACT

Task-oriented dialog systems are becoming pervasive, and many companies heavily rely on them to complement human agents for customer service in call centers. With globalization, the need for providing cross-lingual customer support becomes more urgent than ever. However, cross-lingual support poses great challenges---it requires a large amount of additional annotated data from native speakers. In order to bypass the expensive human annotation and achieve the first step towards the ultimate goal of building a universal dialog system, we set out to build a cross-lingual state tracking framework. Specifically, we assume that there exists a source language with dialog belief tracking annotations while the target languages have no annotated dialog data of any form. Then, we pre-train a state tracker for the source language as a teacher, which is able to exploit easy-to-access parallel data. We then distill and transfer its own knowledge to the student state tracker in target languages. We specifically discuss two types of common parallel resources: bilingual corpus and bilingual dictionary, and design different transfer learning strategies accordingly. Experimentally, we successfully use English state tracker as the teacher to transfer its knowledge to both Italian and German trackers and achieve promising results.

研究动机与目标

• 解决在无标注对话数据的情况下，为低资源或零资源语言构建任务导向对话系统所面临的挑战。
• 通过利用易于获取的并行资源（如双语语料库和词典），实现在对话状态追踪中的跨语言迁移学习。
• 开发一种模块化、高效且可扩展的框架，实现从源语言（如英语）到目标语言的知识迁移，而无需依赖目标语言的标注数据。
• 评估在不同目标语言资源可用性条件下，不同迁移策略的有效性。
• 提供一种可复现、高效且可扩展的解决方案，适用于多语言客户服务系统中的实际部署。

提出的方法

• 将神经信念追踪器分解为三个组件：话语编码器、上下文门控和槽值解码器，以实现模块化的知识迁移。
• 采用教师-学生蒸馏框架，其中源语言模型（教师）指导目标语言模型（学生）的训练。
• 基于并行资源类型设计两种不同的迁移策略：一种用于双语语料库（XL-NBT-C），另一种用于双语词典（XL-NBT-D）。
• 在 XL-NBT-D 中引入温度控制的替换机制，将源语言词汇映射到目标语言同义词，以在迁移过程中保持语义一致性。
• 引入一种约束优化目标，通过超参数 α 平衡教师与学生模型之间编码器和门控模块的对齐。
• 应用对比学习目标，对齐跨语言的语句表示，提升跨语言泛化能力。

实验结果

研究问题

• RQ1 在无任何标注对话数据的情况下，能否有效将基于高资源语言（如英语）训练的神经信念追踪器迁移到低资源语言（如德语、意大利语）？
• RQ2 不同类型的并行资源——双语语料库与双语词典——如何影响跨语言信念追踪的性能？
• RQ3 温度 τ 和平衡权重 α 等超参数对迁移性能和模型稳定性有何影响？
• RQ4 与端到端翻译基线方法相比，所提出的基于蒸馏的方法在准确率和效率方面表现如何？
• RQ5 该模型在具有显著形态差异的语言（如德语的屈折复杂性）之间，其泛化能力如何？

主要发现

• XL-NBT 在德语和意大利语上实现了强大的零样本性能，英语到德语迁移的 Goal 准确率为 0.51，Request 准确率为 0.56，优于基线方法。
• 模型在意大利语上的表现优于德语，可能由于德语复杂的变格系统以及词典中更大的同义词候选列表引入了更多噪声。
• 消融实验表明，模型对超参数 α 具有鲁棒性，最优性能出现在 α=1 时；而温度 τ 的影响更强——过高或过低的值均会降低性能。
• 学习曲线显示模型收敛稳定且迅速，表明具有高度可复现性，适用于低预算的实际部署场景。
• 尽管 Google Translate 在某些设置下得分略高，但 XL-NBT 在效率和简洁性方面表现更优，使其在罕见语言应用中更具实用性。
• 该框架仅使用并行数据成功实现了跨语言的知识迁移，无需任何目标语言对话标注，验证了其在零资源场景下的可行性。