[论文解读] Multilingual Question Answering from Formatted Text applied to Conversational Agents

Wissam Siblini, Charlotte Pasqual+3 more|arXiv (Cornell University)|Oct 10, 2019

Topic Modeling参考文献 44被引用 13

一句话总结

该论文展示了多语言 BERT（mBERT）可实现零样本跨语言迁移用于抽取式问答，在无目标语言标注数据的情况下，于法语和日语上均取得了优异性能。此外，研究还表明，将零样本迁移与机器翻译生成的合成数据相结合，可显著提升性能，从而实现一个实用的多语言HR聊天机器人Kate，能够利用企业内网内容跨语言回答问题。

ABSTRACT

Recent advances with language models (e.g. BERT, XLNet, ...), have allowed surpassing human performance on complex NLP tasks such as Reading Comprehension. However, labeled datasets for training are available mostly in English which makes it difficult to acknowledge progress in other languages. Fortunately, models are now pre-trained on unlabeled data from hundreds of languages and exhibit interesting transfer abilities from one language to another. In this paper, we show that multilingual BERT is naturally capable of zero-shot transfer for an extractive Question Answering task (eQA) from English to other languages. More specifically, it outperforms the best previously known baseline for transfer to Japanese and French. Moreover, using a recently published large eQA French dataset, we are able to further show that (1) zero-shot transfer provides results really close to a direct training on the target language and (2) combination of transfer and training on target is the best option overall. We finally present a practical application: a multilingual conversational agent called Kate which answers to HR-related questions in several languages directly from the content of intranet pages.

研究动机与目标

• 评估mBERT在低资源语言（如法语和日语）中进行多语言问答的零样本迁移能力。
• 探究通过机器翻译生成的合成训练数据是否能够提升零样本迁移性能。
• 开发并部署一个实用的多语言对话代理（Kate），能够从多语言网页内容中回答与HR相关的问题。
• 评估mBERT在处理问题与上下文使用不同语言的跨语言问答任务中的有效性。
• 通过利用预训练的多语言模型，减少对人工标注训练数据的依赖，以实现多语言问答。

提出的方法

• 在英文SQuAD数据集上微调mBERT，用于抽取式问答。
• 将微调后的mBERT模型直接应用于法语和日语的问答对，无需进一步微调（零样本迁移）。
• 通过神经机器翻译将英文SQuAD的问题和上下文翻译为目标语言，生成合成训练数据。
• 在合成多语言数据上微调mBERT，以提升零样本迁移性能。
• 将mBERT集成到对话代理架构中，使其从转换为HTML的企业内网网页中检索答案。
• 采用检索增强型问答流程：从URL提取文本，将每段文本作为mBERT的上下文输入，并选择得分最高的答案。

实验结果

研究问题

• RQ1 mBERT是否能够在无目标语言标注数据的情况下，实现从英语到法语和日语的零样本跨语言问答？
• RQ2 零样本迁移的性能与在目标语言数据集上直接训练的性能相比如何？
• RQ3 通过机器翻译生成的合成数据在多大程度上能够提升零样本迁移性能？
• RQ4 mBERT是否能够处理问题与上下文使用不同语言的跨语言问答？
• RQ5 mBERT在实际部署中，作为从多语言企业内网内容中检索答案的多语言对话代理，其有效性如何？

主要发现

• mBERT在法语和日语上实现了强大的零样本迁移性能，优于两种语言的先前基线模型。
• 零样本迁移结果与在目标语言数据集上直接训练的结果非常接近，尤其是在使用新发布的法语eQA数据集等大规模目标语言数据集时表现尤为显著。
• 将零样本迁移与机器翻译生成的合成数据结合，可使性能达到与人工标注训练数据相当的水平。
• mBERT即使在问题与上下文之间无词汇重叠的情况下（如英文问题、法语文本上下文）也能成功回答问题。
• 在HR聊天机器人Kate中的实际部署表明，mBERT可实现无需人工意图或响应整理的、准确的多语言问答，且能从非结构化的企业内网内容中获取答案。
• 尽管性能表现优异，mBERT在答案分散于多个不连续文本段落时仍表现不佳，表明需要引入答案聚合技术。