[论文解读] The ARIEL-CMU Systems for LoReHLT18

Aditi Chaudhary, Siddharth Dalmia+28 more|arXiv (Cornell University)|Feb 24, 2019

IoT Networks and Protocols参考文献 23被引用 4

一句话总结

本论文介绍了 ARIEL-CMU 系统在 LoReHLT 2018 评估中的表现，聚焦于卢旺达语和僧伽罗语等低资源语言任务。该系统结合了跨语言迁移、多语言神经机器翻译与短语基于机器翻译、数据增强、主动学习以及领域不变特征学习，在文本与语音的机器翻译、命名实体识别、实体链接和情景框架检测任务中均取得了优异性能，关键改进来自母语与非母语标注策略以及多语言预训练。

ABSTRACT

This paper describes the ARIEL-CMU submissions to the Low Resource Human Language Technologies (LoReHLT) 2018 evaluations for the tasks Machine Translation (MT), Entity Discovery and Linking (EDL), and detection of Situation Frames in Text and Speech (SF Text and Speech).

研究动机与目标

• 解决为卢旺达语和僧伽罗语等低资源语言开发高性能自然语言处理系统所面临的挑战，尤其在平行语料和单语语料有限的情况下。
• 通过利用跨语言迁移、母语与非母语标注者数据以及预训练词嵌入，提升命名实体识别与链接性能。
• 通过大规模多语言预训练与数据清洗，结合混合短语基于与神经机器翻译模型，构建稳健的机器翻译系统。
• 通过将语音转为文本并应用跨语言模型，实现对文本与语音的统一情景框架检测处理。
• 通过数据增强、主动学习与领域不变特征学习，提升情景框架检测性能，降低英语与低资源语言之间的语言分布偏移。

提出的方法

• 利用英语及相关语言的跨语言迁移，生成命名实体识别与实体链接任务的训练数据，整合母语与非母语标注者的标注结果。
• 结合短语基于与神经机器翻译模型，先在多种语言上进行多语言预训练，再在特定事件语言对上进行微调。
• 应用自举法与主动学习技术扩充训练数据，提升情景框架检测性能，尤其在低资源语言中效果显著。
• 实施矩量匹配（Zellinger et al., 2017）以对齐英语与低资源语言输入的特征分布，降低基于卷积神经网络的事件分类中的领域偏移。
• 通过语音识别流水线将语音数据转为文本，随后对两种模态均应用统一的基于文本的 SF、NER 与 EDL 系统。
• 在 IPA 中使用双语词嵌入进行替代建模，使系统能够在低资源环境下处理音素表示。

实验结果

研究问题

• RQ1 跨语言迁移与混合标注者策略在卢旺达语和僧伽罗语等低资源语言的命名实体识别与实体链接任务中，如何提升性能？
• RQ2 多语言预训练与数据清洗在多大程度上能提升低资源环境下的神经机器翻译性能？
• RQ3 当训练数据稀缺时，自举法与主动学习能否显著提升情景框架检测性能？
• RQ4 矩量匹配在降低英语与低资源语言输入之间事件类型分类的领域偏移方面，效果如何？
• RQ5 统一的文本与语音流水线在情景框架检测中，能否通过共享模型与跨语言迁移实现在不同模态间的一致性能？

主要发现

• ARIEL-CMU 系统在 LoReHLT 2018 的三项任务（机器翻译、实体链接、情景框架检测）中均表现出色，证明了结合多语言预训练的混合神经与短语基于机器翻译的有效性。
• 通过自举法与主动学习进行数据增强，显著提升了情景框架检测性能，尤其在低资源设置下效果突出。
• 矩量匹配有效降低了英语与低资源语言输入之间的领域偏移，提升了基于卷积神经网络的事件类型分类的鲁棒性。
• 母语与非母语标注者协同工作，实现了高质量、高数量的数据收集，其策略受到机器翻译与情景框架团队输出的启发。
• 语音转文本转换使语音与文本的统一处理成为可能，跨语言模型在不同模态间均实现了稳定一致的性能表现。
• 实验表明，结合多语言预训练、数据清洗与针对性数据选择，可显著提升低资源自然语言处理任务的性能。