[论文解读] Natural language understanding for task oriented dialog in the biomedical domain in a low resources context

Antoine Neuraz, Leonardo Campillos Llanos+2 more|arXiv (Cornell University)|Nov 23, 2018

Topic Modeling参考文献 18被引用 8

一句话总结

本文提出一种低资源方法，通过合成数据生成和预训练嵌入，训练用于法语电子健康记录（EHR）中面向任务对话的生物医学自然语言理解（NLU）模型。通过结合基于模板的数据生成、以英语为中间语言的pivot翻译回译进行释义，以及在大规模EHR语料上训练的FastText和ELMo嵌入的外部知识，该方法在槽位填充任务上达到0.76的F1分数，在意图分类任务上达到0.71的F1分数，证明其在数据稀缺场景下作为基线方法的可行性。

ABSTRACT

In the biomedical domain, the lack of sharable datasets often limit the possibility of developing natural language processing systems, especially dialogue applications and natural language understanding models. To overcome this issue, we explore data generation using templates and terminologies and data augmentation approaches. Namely, we report our experiments using paraphrasing and word representations learned on a large EHR corpus with Fasttext and ELMo, to learn a NLU model without any available dataset. We evaluate on a NLU task of natural language queries in EHRs divided in slot-filling and intent classification sub-tasks. On the slot-filling task, we obtain a F-score of 0.76 with the ELMo representation; and on the classification task, a mean F-score of 0.71. Our results show that this method could be used to develop a baseline system.

研究动机与目标

• 为解决生物医学领域缺乏用于训练NLU模型的标注数据集的问题，特别是在法语等低资源语言中。
• 在因隐私限制而无法获取真实世界标注数据的情况下，开发一种数据高效的NLU系统训练方法。
• 评估合成数据生成、释义和预训练上下文嵌入（FastText、ELMo）在提升EHR查询理解NLU性能方面的有效性。
• 为在低资源生物医学环境中构建对话系统建立一个实用的基线。

提出的方法

• 使用手工设计的模板生成实验室检查查询和时间修饰语的合成训练数据，并结合409个实验室术语列表，生成多样化且逼真的用户语句。
• 通过以英语为中间语言的pivot翻译方法生成模板的释义，以增加语言变体。
• 使用FastText学习词表示，使用ELMo学习上下文嵌入，两者均在大规模法语EHR语料上进行训练，以注入领域特定知识。
• 使用biLSTM、CRF和biLSTM-CRF架构建模序列标注任务，分别进行槽位填充和意图分类，且包含与不包含外部嵌入的模型进行比较。
• 在178个真实医生查询的保留测试集上评估模型性能，报告序列标注和分类任务的F1分数。
• 实验比较了包含与不包含释义数据的模型，以及不同嵌入来源（FastText、ELMo或无外部知识）的影响，以评估其对泛化能力的贡献。

实验结果

研究问题

• RQ1 在缺乏标注训练数据的情况下，合成数据生成与预训练嵌入的结合能否有效训练出生物医学NLU模型？
• RQ2 在低资源EHR查询上，上下文嵌入（ELMo）与静态词嵌入（FastText）相比，是否能更有效地提升NLU性能？
• RQ3 通过释义进行数据增强是否能提升模型在真实世界生物医学查询上的泛化能力？
• RQ4 在大规模EHR语料中引入领域特定知识在多大程度上能提升模型在槽位填充和意图分类任务上的表现？
• RQ5 该方法能否作为在低资源生物医学环境中开发对话系统的可行基线？

主要发现

• 在槽位填充任务中，使用ELMo嵌入的最佳模型达到0.76的F1分数，显著优于无外部知识的模型（F1 = 0.55 ± 0.12）。
• 在意图分类任务中，使用ELMo的最佳模型达到0.71的平均F1分数，而无外部嵌入的模型为0.61。
• ELMo在所有任务中均持续优于FastText，表明在该低资源设置下，上下文表示比静态嵌入更有效。
• 释义并未提升槽位填充的性能，甚至在某些情况下略有降低，表明基于pivot翻译的释义质量可能不够理想。
• ELMo与biLSTM-CRF的组合在序列标注任务上达到最高F1分数0.77，证明了上下文建模的价值。
• 结果证实，利用大规模领域特定语料进行预训练嵌入对提升低资源生物医学NLP任务中的NLU性能至关重要。