[论文解读] Neural Task Representations as Weak Supervision for Model Agnostic Cross-Lingual Transfer

Sunil Kumar Jauhar, Michael Gamon+1 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 33被引用 4

一句话总结

该论文提出了一种模型无关的跨语言迁移框架，利用神经任务表征作为弱监督信号，仅需未标注的平行数据和对任务表征的损失函数。该方法在德语、法语和日语的情感分类任务上取得了最先进或具有竞争力的性能，优于强基线模型和复杂方法，同时在无直接监督的情况下学习到语义上合理的跨语言表征。

ABSTRACT

Natural language processing is heavily Anglo-centric, while the demand for models that work in languages other than English is greater than ever. Yet, the task of transferring a model from one language to another can be expensive in terms of annotation costs, engineering time and effort. In this paper, we present a general framework for easily and effectively transferring neural models from English to other languages. The framework, which relies on task representations as a form of weak supervision, is model and task agnostic, meaning that many existing neural architectures can be ported to other languages with minimal effort. The only requirement is unlabeled parallel data, and a loss defined over task representations. We evaluate our framework by transferring an English sentiment classifier to three different languages. On a battery of tests, we show that our models outperform a number of strong baselines and rival state-of-the-art results, which rely on more complex approaches and significantly more resources and data. Additionally, we find that the framework proposed in this paper is able to capture semantically rich and meaningful representations across languages, despite the lack of direct supervision.

研究动机与目标

• 解决自然语言处理中非英语语言标注数据成本高且稀缺的问题。
• 实现预训练的英语神经模型向低资源语言的有效迁移，且所需工程工作和数据极少。
• 探究任务表征是否可作为弱监督信号，用于在无直接对齐的情况下学习跨语言语义。
• 开发一种通用的、架构和任务无关的迁移框架，仅依赖平行单语语料。
• 评估该框架在无显式监督下学习语义上合理跨语言表征的能力。

提出的方法

• 利用预训练模型的中间任务表征（预测层之前的层）作为未标注平行数据中的弱监督信号。
• 在这些任务表征上定义损失函数，以对齐跨语言的语义内容。
• 通过共享的、与语言无关的神经架构，使用表征投影将英语任务表征映射到目标语言嵌入。
• 在保持语言特定嵌入的同时，共享高层网络层，以保留任务特定的语义信息。
• 使用英语标注数据和未标注平行数据联合进行端到端训练。
• 采用嵌入之间的余弦相似度来评估跨语言语义迁移效果。

实验结果

研究问题

• RQ1 预训练英语模型的任务表征能否作为跨语言迁移的有效弱监督信号？
• RQ2 在无直接监督或平行标注的情况下，模型在多大程度上能学习到语义上合理的跨语言表征？
• RQ3 在低资源跨语言迁移任务中，该框架与强基线和最先进方法相比表现如何？
• RQ4 当与机器翻译系统结合时，该框架是否依然有效？
• RQ5 在该设置下，模型大小和架构如何影响跨语言迁移性能？

主要发现

• 该框架在德语、法语和日语的情感分类任务上优于多个强基线模型，包括使用相同平行数据训练的基于机器翻译的系统。
• 在一种目标语言（德语）上，该模型取得了与之前最先进结果相当或更优的性能，尽管方法更简单且资源更少。
• 模型学习到了语义丰富的跨语言表征，表现为英语中的正面/负面情感词与法语中对应的情感词在嵌入相似度上彼此接近。
• 更大的模型往往表现更差，原因在于任务表征提供的弱监督信号中存在过拟合和更多噪声。
• 即使没有高质量的机器翻译系统或双语词典，该框架依然有效，仅依赖平行语料和任务表征上的损失函数。
• 该方法在不同语言间泛化良好，德语、法语和日语的同语言检索任务准确率分别达到92%和90%。