[论文解读] Multitask learning for semantic sequence prediction under varying data conditions.

Hėctor Martínez Alonso, Barbara Plank|arXiv (Cornell University)|Dec 7, 2016

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文研究了在不同数据条件下，用于语义序列预测的多任务学习（MTL）方法，评估了多种辅助任务配置（包括一种新设置），发现 MTL 仅在 5 项任务中的 1 项中提升了性能。当辅助任务具有紧凑且均匀的标签分布时，成功可能性最大。

ABSTRACT

Multitask learning has been applied successfully to a range of tasks, mostly morphosyntactic. However, little is known on when MTL works and whether there are data characteristics that help to determine the success of MTL. In this paper we evaluate a range of semantic sequence labeling tasks in a MTL setup. We examine different auxiliary task configurations, amongst which a novel setup, and correlate their impact to data-dependent conditions. Our results show that MTL is not always effective, because significant improvements are obtained only for 1 out of 5 tasks. When successful, auxiliary tasks with compact and more uniform label distributions are preferable.

研究动机与目标

• 评估多任务学习（MTL）在不同数据条件下语义序列标注任务中的有效性。
• 识别可预测 MTL 成功或失败的数据相关特征。
• 比较不同的辅助任务配置（包括一种新设置），以提升语义序列预测性能。
• 确定标签分布的均匀性和紧凑性是否影响 MTL 性能。
• 为语义序列任务中 MTL 何时以及为何有效提供实证洞察。

提出的方法

• 采用多任务学习框架，其中共享编码器处理多个语义序列标注任务的输入序列。
• 引入一种新型辅助任务配置，以探究其对主任务性能的影响。
• 通过跨任务共享表示学习来提升泛化能力，使用任务特定的分类头进行预测。
• 在不同数据条件下，对五个语义序列标注任务进行性能评估。
• 将模型性能与数据特征（如标签分布均匀性、标签集紧凑性）进行相关性分析。
• 采用标准序列标注指标（如 F1 分数）量化 MTL 带来的性能提升或下降。

实验结果

研究问题

• RQ1 在何种数据条件下，多任务学习能提升语义序列标注中的性能？
• RQ2 标签分布特征（如均匀性、紧凑性）如何影响 MTL 的成功？
• RQ3 所提出的新型辅助任务配置是否优于标准配置？
• RQ4 MTL 在不同语义序列任务中是否始终有益，还是存在任务特定的限制？
• RQ5 哪些数据依赖因素可预测 MTL 是否能带来显著改进？

主要发现

• 多任务学习仅在所评估的 5 项语义序列标注任务中的 1 项中提升了性能。
• 当 MTL 有效时，具有紧凑且更均匀标签分布的辅助任务能带来更好的性能。
• 标签分布高度偏斜或稀疏的任务从 MTL 中几乎未获得改进。
• 新型辅助任务配置并未始终优于标准设置，表明设计本身的重要性低于数据特征。
• 标签分布均匀性等数据依赖因素是 MTL 成功的强预测因子。
• MTL 并非语义序列预测的通用有效策略，其优势高度依赖于数据属性。