[论文解读] Multi-Task Feature Learning Via Efficient l2,1-Norm Minimization

Jun Liu, Shuiwang Ji+1 more|arXiv (Cornell University)|May 9, 2012

Gaussian Processes and Bayesian Inference参考文献 27被引用 553

一句话总结

本文提出了一种基于 l2,1-范数正则化的多任务特征学习高效优化方法，该方法在任务间促进共享稀疏性。通过将非光滑问题重新表述为两个光滑凸形式，并利用内点法（Nesterov）最优一阶方法求解，该方法实现了更快的收敛速度，且可解析计算或线性时间完成欧氏投影，显著提升了基准数据集上的计算效率。

ABSTRACT

The problem of joint feature selection across a group of related tasks has applications in many areas including biomedical informatics and computer vision. We consider the l2,1-norm regularized regression model for joint feature selection from multiple tasks, which can be derived in the probabilistic framework by assuming a suitable prior from the exponential family. One appealing feature of the l2,1-norm regularization is that it encourages multiple predictors to share similar sparsity patterns. However, the resulting optimization problem is challenging to solve due to the non-smoothness of the l2,1-norm regularization. In this paper, we propose to accelerate the computation by reformulating it as two equivalent smooth convex optimization problems which are then solved via the Nesterov's method-an optimal first-order black-box method for smooth convex optimization. A key building block in solving the reformulations is the Euclidean projection. We show that the Euclidean projection for the first reformulation can be analytically computed, while the Euclidean projection for the second one can be computed in linear time. Empirical evaluations on several data sets verify the efficiency of the proposed algorithms.

研究动机与目标

• 为解决机器学习中多个相关任务联合特征选择的挑战。
• 克服多任务回归中非光滑 l2,1-范数正则化带来的计算困难。
• 开发一种可扩展且高效的优化框架，加速大规模多任务学习问题的收敛。
• 通过光滑重构降低计算复杂度，实现 l2,1-范数正则化模型的实际部署。

提出的方法

• 将非光滑的 l2,1-范数正则化多任务学习问题重构为两个等价的光滑凸优化问题。
• 应用内点法（Nesterov）最优一阶方法求解光滑重构问题，确保快速收敛速率。
• 对第一个重构问题的欧氏投影进行解析计算，实现闭式更新。
• 在第二个重构问题中实现线性时间算法以计算欧氏投影，确保可扩展性。
• 利用 l2,1-范数的结构特性，促进多个预测器之间的共享稀疏模式。
• 通过指数族的概率解释将 l2,1-范数视为先验，以支持模型的统计基础。

实验结果

研究问题

• RQ1 多任务学习中的非光滑 l2,1-范数正则化问题能否通过光滑优化技术高效求解？
• RQ2 重构优化问题中欧氏投影的计算复杂度如何？是否可高效计算？
• RQ3 与现有方法相比，所提方法在收敛速度和可扩展性方面表现如何？
• RQ4 光滑重构是否能保持原始 l2,1-范数模型的共享稀疏性特性？

主要发现

• 由于在光滑重构问题上采用内点法（Nesterov）最优方法，所提方法的收敛速度优于传统一阶方法。
• 第一个重构问题中的欧氏投影可解析计算，支持高效更新。
• 第二个重构问题中的欧氏投影可在线性时间内计算，确保大规模问题的可扩展性。
• 在多个数据集上的实验评估表明，计算时间显著缩短，同时保持或提升了特征选择性能。