[论文解读] Multi-task Domain Adaptation for Sequence Tagging

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|Aug 9, 2016

Topic Modeling参考文献 46被引用 4

一句话总结

本文提出一种多任务领域自适应框架，采用共享的BiLSTM-CRF架构，结合领域特定的投影层与任务特定的解码器，实现多个自然语言处理任务（如中文分词和命名实体识别）的联合学习，从而在低资源领域中提升泛化能力。该方法通过在任务和领域间共享表示，在社交媒体文本上实现了最先进性能。

ABSTRACT

Many domain adaptation approaches rely on learning cross domain shared representations to transfer the knowledge learned in one domain to other domains. Traditional domain adaptation only considers adapting for one task. In this paper, we explore multi-task representation learning under the domain adaptation scenario. We propose a neural network framework that supports domain adaptation for multiple tasks simultaneously, and learns shared representations that better generalize for domain adaptation. We apply the proposed framework to domain adaptation for sequence tagging problems considering two tasks: Chinese word segmentation and named entity recognition. Experiments show that multi-task domain adaptation works better than disjoint domain adaptation for each task, and achieves the state-of-the-art results for both tasks in the social media domain.

研究动机与目标

• 通过联合学习多个自然语言处理任务，提升低资源设置下的领域自适应性能。
• 探究多任务学习是否能增强表示泛化能力，以实现领域自适应。
• 探索一种新型的领域/任务不匹配设置，即在不同领域和任务之间进行自适应。
• 开发一种灵活的神经网络框架，同时支持多任务学习与领域自适应。
• 在社交媒体领域实现序列标注任务的最先进性能。

提出的方法

• 该框架使用共享的BiLSTM-CRF模型，所有任务和领域共享表示学习器。
• 每个领域配备专用的领域投影层，将领域特定的表示映射到共享空间。
• 在共享表示上训练任务特定的解码器，以支持多个序列标注任务。
• 通过任务间参数共享和领域特定投影层，实现端到端联合训练。
• 该架构可灵活扩展至多个领域和任务，参数线性增长。
• 通过共享表示实现领域自适应，通过联合优化任务特定头实现多任务学习。

实验结果

研究问题

• RQ1 多任务学习能否提升序列标注任务中的领域自适应性能？
• RQ2 在多个任务间学习共享表示是否能提升低资源目标领域的泛化能力？
• RQ3 与单任务领域自适应相比，所提框架在相同设置下的表现如何？
• RQ4 通过领域投影显式建模领域差异，与简单拼接多领域训练数据相比，其影响如何？
• RQ5 当源数据在领域和任务上均与目标不同时，该框架能否泛化到领域/任务不匹配场景？

主要发现

• 多任务领域自适应框架在中文分词和命名实体识别任务上均优于单任务领域自适应方法。
• 所提方法在社交媒体领域的两项任务上均取得了最先进结果。
• 通过领域投影显式建模领域差异，性能优于简单合并多领域训练数据的方法。
• 该框架在领域/任务不匹配设置下表现出良好泛化能力，证明了在多样化数据上联合学习的优势。
• 该模型在不同数量的源数据集下均表现出一致性能增益，验证了对数据规模的鲁棒性。
• 多任务学习与领域自适应的结合提升了低资源设置下表示的质量与泛化能力。