[论文解读] Multi-task Multi-domain Representation Learning for Sequence Tagging.

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|Aug 9, 2016

Topic Modeling被引用 26

一句话总结

本文提出了一种统一的多任务、多领域序列标注表示学习框架，通过共享CRF和领域特定投影，学习在多个任务（中文分词与命名实体识别）和领域（新闻与社交媒体）之间具有鲁棒性、可迁移性的表示，有效建模领域差异的同时保持任务特定的标注准确率，在社交媒体任务上实现了最先进性能。

ABSTRACT

Representation learning with deep models have demonstrated success in a range of NLP. In this paper we consider its use in a multi-task multi-domain setting for sequence tagging by proposing a unified framework for learning across tasks and domains. Our model learns robust representations that yield better performance in this setting. We use shared CRFs and domain projections to allow the model to learn domain specific representations that can feed a single task specific CRF. We evaluate our model on two tasks -- Chinese word segmentation and named entity recognition -- and two domains -- news and social media -- and achieve state-of-the-art results for both social media tasks.

研究动机与目标

• 为解决序列标注中的领域分布偏移问题，通过在多个领域间学习鲁棒的共享表示。
• 通过在相关NLP任务间进行多任务学习，提升低资源领域（尤其是社交媒体）的性能。
• 设计一个统一框架，联合优化任务特定标注与领域不变表示学习。
• 通过共享组件与领域特定组件，实现从高资源领域（如新闻）到低资源领域（如社交媒体）的知识有效迁移。
• 使用单一统一架构，在多样化领域与任务中实现序列标注的最先进结果。

提出的方法

• 模型采用共享编码器，为所有任务和领域学习通用上下文表示。
• 对共享表示应用领域特定投影，以适应各领域（如新闻与社交媒体）的独特特征。
• 使用单一任务特定CRF进行解码，同时采用共享CRF以建模跨领域和任务的标签依赖关系。
• 通过端到端训练，联合优化序列标注目标与领域自适应目标。
• 该架构允许任务间参数共享，同时通过专用投影层保留领域特定不变性。
• 模型在两个任务（中文分词与命名实体识别）上进行训练，覆盖两个领域：新闻与社交媒体。

实验结果

研究问题

• RQ1 统一模型能否在有效学习多个NLP任务与领域间共享表示的同时，保持各任务的高性能？
• RQ2 领域特定投影在序列标注中如何提升对低资源领域（如社交媒体）的性能？
• RQ3 使用共享CRF的多任务学习在多大程度上增强跨领域与任务的泛化能力？
• RQ4 所提出的框架是否在高资源与低资源领域中的序列标注基准上优于现有方法？
• RQ5 共享组件与领域特定组件如何协同作用，以提升跨领域序列标注的鲁棒性？

主要发现

• 所提模型在社交媒体领域中的中文分词与命名实体识别任务上均达到最先进性能。
• 模型显著提升了社交媒体数据上的性能，此类数据通常更嘈杂且OOV（未登录词）更多，相较于新闻数据。
• 使用领域特定投影可更好地适应领域特定的语言模式，同时不牺牲任务特定的标注质量。
• 共享CRF组件有助于保持跨领域的一致标签转移，提升泛化能力。
• 该框架在从高资源领域（如新闻）到低资源领域（如社交媒体）之间表现出强大的迁移能力。
• 该模型在所有任务与领域上均优于现有基线，证实了联合多任务、多领域学习的有效性。