[论文解读] Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data

Massimo Nicosia, Zhongdi Qu+1 more|arXiv (Cornell University)|Nov 1, 2021

Topic Modeling参考文献 49被引用 8

一句话总结

本文提出了一种名为 Translate-and-Fill (TaF) 的新方法，通过在英语数据上训练序列到序列模型，从话语和解析签名中重建完整解析，从而生成高质量的多语言语义解析合成训练数据。该模型通过填充翻译后的话语实现零样本泛化到其他语言，在三个多语言语义解析数据集上实现了最先进性能，且无需对齐或分词敏感组件。

ABSTRACT

While multilingual pretrained language models (LMs) fine-tuned on a single language have shown substantial cross-lingual task transfer capabilities, there is still a wide performance gap in semantic parsing tasks when target language supervision is available. In this paper, we propose a novel Translate-and-Fill (TaF) method to produce silver training data for a multilingual semantic parser. This method simplifies the popular Translate-Align-Project (TAP) pipeline and consists of a sequence-to-sequence filler model that constructs a full parse conditioned on an utterance and a view of the same parse. Our filler is trained on English data only but can accurately complete instances in other languages (i.e., translations of the English training utterances), in a zero-shot fashion. Experimental results on three multilingual semantic parsing datasets show that data augmentation with TaF reaches accuracies competitive with similar systems which rely on traditional alignment techniques.

研究动机与目标

• 解决由于缺乏本地方言监督而导致的低资源语言在多语言语义解析中的性能问题。
• 减少传统数据投影方法（如 TAP）中对复杂且易出错的对齐和投影流水线的依赖。
• 开发一种鲁棒的端到端合成数据生成方法，利用多语言预训练模型和解析结构实现零样本迁移。
• 通过最小的本地方言标注工作量，提升零样本多语言语义解析性能。

提出的方法

• 仅在英语语义解析数据上训练一个序列到序列（seq2seq）填充模型，以输入话语和解析签名（例如意图和槽位结构）为条件。
• 使用多语言预训练模型（特别是 mT5）对英语话语及其翻译进行编码，以实现跨语言泛化。
• 在推理阶段，将英语话语替换为同一话语到目标语言的神经机器翻译（NMT）结果，同时保持解析签名不变。
• 模型通过关注翻译后的话语和解析签名，生成目标语言的完整解析，从而实现零样本解析。
• 利用模型的生成特性，生成多语言语义解析器的银标准训练数据，而无需词级对齐或复杂的标签投影逻辑。
• 应用启发式过滤器评估幻觉和签名保真度，但发现过滤合成数据并不能提升最终模型性能。

实验结果

研究问题

• RQ1 仅在英语数据上训练的序列到序列模型能否以零样本方式在其他语言中生成准确的语义解析？
• RQ2 所提出的 Translate-and-Fill 方法是否优于依赖词对齐和标签投影的传统 TAP 式流水线？
• RQ3 该方法对翻译噪声、词形变化以及语言特异性现象（如复合词或词序变化）的鲁棒性如何？
• RQ4 与本地方言微调相比，通过 TaF 生成的合成数据能在多大程度上提升多语言语义解析性能？

主要发现

• Translate-and-Fill (TaF) 方法在三个多语言语义解析数据集上实现了最先进性能，优于依赖传统对齐和投影技术的系统。
• 在 mTOP 数据集上，TaF 闭合了零样本与本地方言监督模型之间超过 90% 的性能差距，在某些语言设置下 F1 绝对值提升高达 12.5%。
• 该方法在形态丰富的语言（如土耳其语）上表现出强大的零样本泛化能力，优于基线 NMT 增强方法。
• 启发式分析显示，仅 2.89% 的生成解析包含错误，且大多数错误源于幻觉槽值而非结构不匹配，表明对输入签名具有高度保真度。
• 基于幻觉或签名不匹配过滤合成数据并未提升最终模型准确率，表明模型泛化能力稳健，且合成数据可靠可用。
• 该方法消除了对外部词对齐器的需求，且对不同语言间分词和子词分段的差异具有鲁棒性。