[论文解读] On Multiplicative Multitask Feature Learning

Xin Wang, Jinbo Bi+2 more|PubMed|Oct 24, 2016

Domain Adaptation and Few-Shot Learning参考文献 43被引用 33

一句话总结

该论文提出了一种通用的乘法多任务特征学习框架，将特定任务的模型参数分解为跨任务特征指示器与特定任务参数的乘积，从而实现灵活的正则化。该方法在理论上等价于联合正则化，但具有更广泛的正则化形式，实证结果表明在合成数据和真实世界数据上，新提出的 MMTFL(2,1) 和 MMTFL(1,2) 形式性能更优。

ABSTRACT

We investigate a general framework of multiplicative multitask feature learning which decomposes individual task's model parameters into a multiplication of two components. One of the components is used across all tasks and the other component is task-specific. Several previous methods can be proved to be special cases of our framework. We study the theoretical properties of this framework when different regularization conditions are applied to the two decomposed components. We prove that this framework is mathematically equivalent to the widely used multitask feature learning methods that are based on a joint regularization of all model parameters, but with a more general form of regularizers. Further, an analytical formula is derived for the across-task component as related to the task-specific component for all these regularizers, leading to a better understanding of the shrinkage effects of different regularizers. Study of this framework motivates new multitask learning algorithms. We propose two new learning formulations by varying the parameters in the proposed framework. An efficient blockwise coordinate descent algorithm is developed suitable for solving the entire family of formulations with rigorous convergence analysis. Simulation studies have identified the statistical properties of data that would be in favor of the new formulations. Extensive empirical studies on various classification and regression benchmark data sets have revealed the relative advantages of the two new formulations by comparing with the state of the art, which provides instructive insights into the feature learning problem with multiple tasks.

研究动机与目标

• 开发一种通用的乘法多任务特征学习框架，以实现对共享组件和特定任务组件的灵活正则化。
• 在不同正则化器下，理论分析所提出的乘法框架与传统联合正则化方法之间的等价性。
• 推导出跨任务组件与特定任务组件之间的解析公式，以理解收缩效应。
• 设计具有非对称正则化（例如，一个组件使用 ℓ2，另一个使用 ℓ1）的新多任务学习形式，以提升特征选择性能。
• 在合成数据和真实世界数据上，通过实证验证所提出形式相对于最先进方法的优越性。

提出的方法

• 将每个任务的模型参数分解为跨任务特征指示向量与特定任务参数向量的逐元素乘积。
• 对跨任务组件和特定任务组件应用不同的正则化器（例如，ℓ1、ℓ2、ℓ∞），以促进稀疏性和共享结构。
• 推导出基于最优特定任务参数的跨任务组件的解析解，从而实现高效优化。
• 提出两种新形式：MMTFL(2,1) 和 MMTFL(1,2)，其中正则化器为非对称形式（一个组件使用 ℓ2，另一个使用 ℓ1）。
• 基于解析解开发一种高效的优化算法，以求解整个形式家族。
• 使用具有已知特征共享模式（例如，阶梯状结构）的合成数据，验证方法恢复此类模式的能力。

实验结果

研究问题

• RQ1 所提出的乘法多任务特征学习框架在数学等价性和正则化器灵活性方面，与现有联合正则化方法有何关系？
• RQ2 在不同正则化器下，跨任务组件与特定任务组件之间的解析关系是什么？
• RQ3 不同正则化器组合（例如，ℓ2 与 ℓ1）如何影响收缩行为和特征选择性能？
• RQ4 所提出的框架能否恢复非聚类方法无法捕捉的复杂特征共享模式（如阶梯状结构）？
• RQ5 新提出的 MMTFL(2,1) 和 MMTFL(1,2) 形式在合成数据和真实世界数据上是否优于现有最先进多任务学习方法？

主要发现

• 所提出的乘法框架在数学上等价于联合正则化方法，但允许使用更广泛的正则化器类别，包括非矩阵范数。
• 推导出一个解析公式，将最优跨任务组件表示为最优特定任务参数的函数，从而揭示收缩行为的内在机制。
• 在合成数据 D2 上，MMTFL(1,2) 在 50% 特征噪声下达到最高的 R² 值 0.97，优于所有其他方法，包括 MMTFL(2,1) 和 MMTFL(1,1)。
• 在合成数据 D1 上，MMTFL(2,1) 在 50% 噪声下取得最佳性能，R² 达到 0.90，显著优于 STL、DMTL 和 rMTFL。
• 在 Sarcos 机器人扭矩预测数据集上，MMTFL(2,1) 在 50% 噪声下达到 R² 0.91，优于所有其他方法，包括 MMTFL(1,2)。
• 在 USPS 手写数字分类数据集上，MMTFL(1,2) 在 50% 噪声下达到 F1 得分 0.93，表现出在真实世界分类任务中的优越性能。