[论文解读] Multi-task Learning over Graph Structures

Pengfei Liu, Jie Fu+3 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Graph Neural Networks参考文献 24被引用 6

一句话总结

本文提出了一种基于图的多任务学习框架，通过消息传递动态建模序列学习中任务之间的关系，实现有效、可解释且可迁移的知识共享。实验表明，该方法在性能上达到最先进水平，并能从共享表征中提取有意义的、与任务无关的模式。

ABSTRACT

We present two architectures for multi-task learning with neural sequence models. Our approach allows the relationships between different tasks to be learned dynamically, rather than using an ad-hoc pre-defined structure as in previous work. We adopt the idea from message-passing graph neural networks and propose a general extbf{graph multi-task learning} framework in which different tasks can communicate with each other in an effective and interpretable way. We conduct extensive experiments in text classification and sequence labeling to evaluate our approach on multi-task learning and transfer learning. The empirical results show that our models not only outperform competitive baselines but also learn interpretable and transferable patterns across tasks.

研究动机与目标

• 解决多任务学习中静态、预定义任务结构的局限性，以提升模型的适应性和可解释性。
• 建模任务之间复杂、动态的关系，而非假设固定的信息流。
• 学习可迁移且可解释的跨任务共享表征，提升模型的透明度。
• 在多任务学习和迁移学习设置中实现有效的知识迁移。
• 提供一种可泛化的多任务学习框架，通过图结构支持任务间灵活的通信。

提出的方法

• 将每个自然语言处理任务建模为图中的一个节点，边表示潜在的通信路径。
• 采用消息传递机制——具体为全连接图和星型图拓扑结构——以实现任务间双向或中心化的信息交换。
• 通过类似注意力的机制动态学习任务间关系的强度，实现选择性信息共享。
• 使用共享表征层聚合来自邻近任务的消息，实现跨任务的模式迁移。
• 将图神经网络原理应用于序列模型，将任务特定编码器与共享的图通信模块相结合。
• 采用多任务损失端到端训练模型，使梯度能够同时更新任务特定组件和任务间通信组件。

实验结果

研究问题

• RQ1 在多任务学习设置中，如何显式建模多个自然语言处理任务之间复杂、动态的关系？
• RQ2 我们能否设计一种多任务学习框架，以学习可解释且可迁移的跨任务共享表征？
• RQ3 在序列学习任务中，基于图的动态消息传递是否优于静态、预定义的任务结构？
• RQ4 模型所学习的共享模式在多大程度上可迁移至新的、未见过的任务？
• RQ5 所学习的任务间关系在多大程度上反映了任务之间的实际语义或句法相似性？

主要发现

• 所提出的模型在文本分类和序列标注基准上达到最先进性能，优于多种竞争基线方法。
• 模型学习到动态的任务间关系，能根据数据自适应调整，实现基于上下文的选择性信息共享。
• 通过定性分析，可解释的共享模式（如短语“would have to”）成功地从一个任务迁移到另一个任务。
• 模型实现了有效的迁移学习：例如，Software 任务能从 Kitchen 任务中受益，得益于共享的语言模式。
• 关系强度（如注意力权重中的 β）与语义相似性相关，提供了有意义的可解释性。
• 基于图的消息传递机制在低资源设置下展现出更好的泛化能力和鲁棒性。