[论文解读] Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction

Zhiyong Yang, Qianqian Xu+2 more|arXiv (Cornell University)|Apr 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 75被引用 4

一句话总结

本文提出任务-特征协同学习（TFCL），一种新颖的多任务学习方法，通过块对角结构正则化器联合建模任务与特征分组，以缓解负迁移问题。该方法确保全局收敛，并在真实世界数据集的个性化属性预测任务中表现优于最先进方法，尤其在困难任务上，通过降低性能方差并提升泛化能力。

ABSTRACT

As an effective learning paradigm against insufficient training samples, Multi-Task Learning (MTL) encourages knowledge sharing across multiple related tasks so as to improve the overall performance. In MTL, a major challenge springs from the phenomenon that sharing the knowledge with dissimilar and hard tasks, known as negative transfer, often results in a worsened performance. Though a substantial amount of studies have been carried out against the negative transfer, most of the existing methods only model the transfer relationship as task correlations, with the transfer across features and tasks left unconsidered. Different from the existing methods, our goal is to alleviate negative transfer collaboratively across features and tasks. To this end, we propose a novel multi-task learning method called Task-Feature Collaborative Learning (TFCL). Specifically, we first propose a base model with a heterogeneous block-diagonal structure regularizer to leverage the collaborative grouping of features and tasks and suppressing inter-group knowledge sharing. We then propose an optimization method for the model. Extensive theoretical analysis shows that our proposed method has the following benefits: (a) it enjoys the global convergence property and (b) it provides a block-diagonal structure recovery guarantee. As a practical extension, we extend the base model by allowing overlapping features and differentiating the hard tasks. We further apply it to the personalized attribute prediction problem with fine-grained modeling of user behaviors. Finally, experimental results on both simulated dataset and real-world datasets demonstrate the effectiveness of our proposed method

研究动机与目标

• 通过联合建模任务与特征关系，解决多任务学习中的负迁移问题。
• 开发一种正则化框架，鼓励任务与特征之间的协同分组，以抑制无关组之间的知识共享。
• 在优化过程中确保全局收敛性与结构恢复保证。
• 将方法扩展至个性化属性预测，结合细粒度用户行为建模。
• 在模拟与真实世界数据集上实证验证方法性能，证明其在困难任务上的鲁棒性。

提出的方法

• 提出一个基础模型，采用异质块对角结构正则化器，以强制实现任务与特征的协同分组。
• 引入一种迭代优化方法，求解凸子问题，并为其中一个子问题提出新颖的闭式解。
• 通过理论分析，建立全局收敛性与块对角结构恢复的保证。
• 将模型扩展以支持重叠特征，并通过分层模型分解区分困难任务。
• 采用一种性能优于现有方法（如CoCMTL）的共分组正则化器。
• 通过建模用户特定行为模式，将方法应用于个性化属性预测，实现更好的泛化性能。

实验结果

研究问题

• RQ1 联合建模任务与特征分组是否能有效减少多任务学习中的负迁移？
• RQ2 所提出的块对角正则化器是否能确保优化过程中的结构恢复与全局收敛？
• RQ3 在个性化属性预测任务中，TFCL相较于最先进多任务学习方法表现如何？
• RQ4 在数据稀缺情况下，TFCL在困难或异常任务上的性能提升程度如何，尤其在这些任务上？
• RQ5 当应用于具有复杂用户行为模式的真实世界数据集时，该方法是否能保持鲁棒性与泛化能力？

主要发现

• 在Shoes与Sun数据集上，TFCL在所有对比方法中表现最优，对属性CL、MO、OA、RU与SO的平均AUC分别提升1.95、2.95、0.44、2.37与1.29。
• 该方法实现了用户特定AUC分数更紧凑的分布，表明性能方差降低，对困难任务的处理能力更强。
• 消融实验表明，移除分组因子导致的性能下降比替换损失函数更为显著，凸显结构分组的重要性。
• 在两个数据集的所有属性上，所提出的正则化器均优于CoCMTL中使用的共分组正则化器。
• 在模拟数据集上，TFCL成功恢复了正确的共分组结构，验证了其结构学习能力。
• 优化方法展现出全局收敛性，且解与最优传输存在关联，为负迁移缓解提供了新的理论洞见。