[论文解读] Safe Screening for Multi-Task Feature Learning with Multiple Data Matrices

Jie Wang, Jieping Ye|arXiv (Cornell University)|May 15, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用 9

一句话总结

本文提出DPC（双凸集投影），一种用于多任务特征学习中多个数据矩阵的新型安全筛选规则。通过利用对偶问题的几何特性，并将非凸筛选条件重新表述为二次约束二次规划（QCQP），DPC能高效识别出所有任务中系数为零的不活跃特征，从而在不损失准确性的前提下实现巨大的计算节省，尤其在高维设置下表现显著。

ABSTRACT

Multi-task feature learning (MTFL) is a powerful technique in boosting the predictive performance by learning multiple related classification/regression/clustering tasks simultaneously. However, solving the MTFL problem remains challenging when the feature dimension is extremely large. In this paper, we propose a novel screening rule---that is based on the dual projection onto convex sets (DPC)---to quickly identify the inactive features---that have zero coefficients in the solution vectors across all tasks. One of the appealing features of DPC is that: it is safe in the sense that the detected inactive features are guaranteed to have zero coefficients in the solution vectors across all tasks. Thus, by removing the inactive features from the training phase, we may have substantial savings in the computational cost and memory usage without sacrificing accuracy. To the best of our knowledge, it is the first screening rule that is applicable to sparse models with multiple data matrices. A key challenge in deriving DPC is to solve a nonconvex problem. We show that we can solve for the global optimum efficiently via a properly chosen parametrization of the constraint set. Moreover, DPC has very low computational cost and can be integrated with any existing solvers. We have evaluated the proposed DPC rule on both synthetic and real data sets. The experiments indicate that DPC is very effective in identifying the inactive features---especially for high dimensional data---which leads to a speedup up to several orders of magnitude.

研究动机与目标

• 解决在极高维特征空间中求解多任务特征学习（MTFL）问题所面临的计算挑战。
• 开发一种筛选规则，可在优化前安全识别并移除所有任务中系数为零的不活跃特征。
• 将现有仅适用于单个数据矩阵的筛选方法扩展至MTFL中固有的多矩阵设置。
• 确保筛选规则具有可证明的安全性，即不会误删正确特征，同时保持较低的计算开销。
• 实现与任何现有MTFL求解器的无缝集成，而无需修改底层优化算法。

提出的方法

• 构建包含多个数据矩阵的MTFL模型的对偶问题，利用内积的双线性性质揭示其几何结构。
• 将对偶可行集定义为凸集，并将对偶最优解识别为向量在该集合上的投影。
• 通过仔细参数化约束集，将非凸筛选条件（即在凸集上最大化凸函数）转化为二次约束二次规划（QCQP）。
• 高效求解所得QCQP以找到全局最优解，确保筛选规则既安全又计算轻量。
• 利用求解结果判断哪些特征可从训练数据中安全移除，因为它们在最终解中系数必为零。
• 将筛选规则作为预处理步骤集成，可应用于任何标准MTFL求解器之前，且无需修改求解器本身。

实验结果

研究问题

• RQ1 能否为使用多个数据矩阵而非单个数据矩阵的多任务特征学习模型开发一种安全筛选规则？
• RQ2 如何将对偶问题中产生的非凸筛选条件转化为可解的凸优化问题？
• RQ3 可利用对偶可行集的哪些几何特性，以确保筛选规则既高效又具有可证明的安全性？
• RQ4 所提出的DPC规则在高维数据中随特征维度增加时，性能如何变化？
• RQ5 在真实世界的MTFL应用中，DPC在不牺牲解精度的前提下，能在多大程度上降低计算成本和内存使用？

主要发现

• DPC以100%的安全性成功识别出不活跃特征，确保解中系数为零的特征不会被错误移除。
• 在合成数据和真实世界数据上，DPC实现了数个数量级的速度提升，尤其在高维设置下表现突出。
• 当特征数量极大时，该筛选规则依然有效，且随着维度增加，性能进一步提升。
• DPC可无缝集成到任何现有MTFL求解器中，增加的开销极小，同时实现显著的计算节省。
• 所提出的QCQP重构方法可高效求解筛选条件的全局最优解，克服了非凸性带来的挑战。
• 实验结果表明，DPC在高维数据上相较于现有筛选方法，在特征移除率和计算效率方面均表现更优。