[论文解读] Multi-Stage Multi-Task Feature Learning

Pinghua Gong, Jieping Ye+1 more|arXiv (Cornell University)|Oct 22, 2012

Sparse and Compressive Sensing Techniques参考文献 41被引用 126

一句话总结

该论文提出了一种使用截断-$\ell_1$正则化项的非凸多阶段多任务特征学习（MSMTFL）算法，以在稀疏特征选择方面超越凸方法。通过分阶段优化迭代改进特征估计，MSMTFL在弱于先前工作的条件下实现了更紧的参数估计误差界，并提供了收敛性和可重现性的理论保证。

ABSTRACT

Multi-task sparse feature learning aims to improve the generalization performance by exploiting the shared features among tasks. It has been successfully applied to many applications including computer vision and biomedical informatics. Most of the existing multi-task sparse feature learning algorithms are formulated as a convex sparse regularization problem, which is usually suboptimal, due to its looseness for approximating an $\ell_0$-type regularizer. In this paper, we propose a non-convex formulation for multi-task sparse feature learning based on a novel non-convex regularizer. To solve the non-convex optimization problem, we propose a Multi-Stage Multi-Task Feature Learning (MSMTFL) algorithm; we also provide intuitive interpretations, detailed convergence and reproducibility analysis for the proposed algorithm. Moreover, we present a detailed theoretical analysis showing that MSMTFL achieves a better parameter estimation error bound than the convex formulation. Empirical studies on both synthetic and real-world data sets demonstrate the effectiveness of MSMTFL in comparison with the state of the art multi-task sparse feature learning algorithms.

研究动机与目标

• 解决凸多任务稀疏学习公式在松散逼近$\ell_0$型正则化项时的次优性能问题。
• 克服现有凸方法的局限性，如限制性较强的不相干条件和松散的误差界。
• 提出一种基于截断-$\ell_1$正则化项的非凸公式，以更精确地逼近真实的稀疏诱导$\ell_0$范数。
• 设计一种多阶段优化算法（MSMTFL），通过迭代改进解的质量，同时确保可重现性。
• 提供关于收敛性、解唯一性以及相比凸方法改进的参数估计误差界的理论保证。

提出的方法

• 提出一种非凸正则化项——截断-$\ell_1$范数，作为多任务特征学习中对$\ell_0$型正则化项的更紧逼近。
• 设计MSMTFL算法作为多阶段优化过程，交替更新特征权重并优化活跃特征集。
• 在每个阶段使用阈值机制，基于跨任务权重向量的大小识别相关特征。
• 在各阶段逐步减小正则化参数$\lambda$，以逐步优化特征选择。
• 引入收敛性分析，表明在稀疏特征值条件下，每轮迭代的误差界均得到改善。
• 在较弱条件下建立解唯一性（即可重现性），从而支持该算法的可靠理论分析。

实验结果

研究问题

• RQ1 基于截断-$\ell_1$正则化项的非凸公式是否能在参数估计误差方面优于凸多任务稀疏学习？
• RQ2 MSMTFL中的多阶段优化策略是否能产生渐进更优的解和比单步凸方法更紧的误差界？
• RQ3 在何种条件下，非凸MSMTFL算法的解在不同初始化下具有可重现性？
• RQ4 在较弱假设下，MSMTFL的误差界与$\ell_1 + \ell_{1,\infty}$等凸公式的误差界相比如何？
• RQ5 所提出的算法是否能在合成数据和真实世界数据集上实现优于最先进方法的特征选择性能？

主要发现

• MSMTFL算法在各阶段中逐步改善参数估计误差界，第$\ell$阶段的误差界比第$\ell-1$阶段更紧。
• 理论分析表明，在稀疏特征值条件下，MSMTFL的误差界优于凸公式，且该条件弱于先前工作中使用的不相干条件。
• 在较弱条件下，MSMTFL的解具有唯一性（即具有可重现性），解决了非凸优化在多任务学习中的一项关键挑战。
• 在合成数据和真实世界数据集上的实证结果表明，MSMTFL在特征选择准确性和泛化能力方面优于最先进多任务稀疏学习算法。
• 该算法在各种数据场景下表现出稳健性能，包括具有稀疏真实特征的高维设置。
• 多阶段设计使算法具有更好的收敛行为，并在识别共享特征和任务特定特征方面优于单步凸求解器。