[论文解读] Taking Advantage of Sparsity in Multi-Task Learning

Karim Lounici, Massimiliano Pontil+2 more|arXiv (Cornell University)|Mar 9, 2009

Sparse and Compressive Sensing Techniques参考文献 19被引用 125

一句话总结

该论文提出了一种基于组套索的多任务学习方法，利用多个回归任务之间的共享稀疏模式。在受限特征值和相干性条件下，建立了精确的预测与估计误差界，当任务数 T 增大时，该误差界不再依赖于预测变量数 M，从而在 M ≫ n 的高维设置下，实现了稳定的变量选择和最优收敛速率。

ABSTRACT

We study the problem of estimating multiple linear regression equations for the purpose of both prediction and variable selection. Following recent work on multi-task learning Argyriou et al. [2008], we assume that the regression vectors share the same sparsity pattern. This means that the set of relevant predictor variables is the same across the different equations. This assumption leads us to consider the Group Lasso as a candidate estimation method. We show that this estimator enjoys nice sparsity oracle inequalities and variable selection properties. The results hold under a certain restricted eigenvalue condition and a coherence condition on the design matrix, which naturally extend recent work in Bickel et al. [2007], Lounici [2008]. In particular, in the multi-task learning scenario, in which the number of tasks can grow, we are able to remove completely the effect of the number of predictor variables in the bounds. Finally, we show how our results can be extended to more general noise distributions, of which we only require the variance to be finite.

研究动机与目标

• 解决多任务学习中预测变量数 M 远大于观测数 n 的高维回归挑战。
• 利用所有任务共享相同相关预测变量集合（结构化稀疏性）的假设，以改善估计与变量选择。
• 在设计矩阵的最小假设下，建立预测精度与正确稀疏模式恢复的理论保证。
• 证明任务数 T 可被用来消除误差界对预测变量数 M 的依赖，即使在 M ≫ n 的情况下。
• 将结果推广至具有有限方差的一般噪声分布，无需假设高斯性。

提出的方法

• 构建一个多任务回归模型，其中每个任务 t 拥有自己的设计矩阵 $X_t$、响应向量 $y_t$ 和回归系数向量 $β^*_t$。
• 引入一种组套索估计器，通过最小化所有任务的平均平方残差误差，并对系数向量施加混合 $(2,1)$-范数惩罚，以强制实现共享稀疏性。
• 使用正则化参数 $\lambda = \sigma \sqrt{\frac{\log^{1+\delta} M}{nT}}$（其中 $\delta > 0$）来控制拟合与稀疏性之间的权衡。
• 对设计矩阵施加受限特征值（RE）和相干性条件，以确保真实系数向量的稳定恢复。
• 利用集中不等式与矩不等式（通过引理 A.2）推导出估计误差与稀疏模式恢复的高概率界。
• 修改估计器与阈值规则，使其在对活跃预测变量的最小信号强度有更强条件时，能够以高概率实现精确支持恢复。

实验结果

研究问题

• RQ1 能否利用多个回归任务之间的共享稀疏性，在高维设置下提升预测准确率与变量选择性能？
• RQ2 当 $M \gg n$ 且 $T$ 较大时，组套索在多任务学习中的理论误差界是什么？
• RQ3 任务数 $T$ 是否有助于消除误差界对预测变量数 $M$ 的依赖？
• RQ4 在何种条件下，组套索估计器能够一致地恢复真实稀疏模式 $J(\beta^*)$？
• RQ5 理论保证如何推广至仅具有有限方差的非高斯噪声？

主要发现

• 预测误差以高概率被限制在 $\frac{16}{\kappa^2} \sigma^2 s \frac{\log^{1+\delta} M}{n}$ 以内，且当 $T$ 增大时，该界不再依赖于 $M$。
• 在 $(2,1)$-范数下的估计误差满足 $\frac{1}{\sqrt{T}} \|\hat{\beta} - \beta^*\|_{2,1} \leq \frac{16}{\kappa^2} \sigma s \sqrt{\frac{\log^{1+\delta} M}{n}}$，以高概率成立。
• 当最小信号强度超过 $2c \sqrt{\frac{\log^{1+\delta} M}{n}}$ 时，组套索估计器能以高概率实现精确支持恢复（即 $\hat{J} = J(\beta^*)$），其中 $c = \left(\frac{3}{2} + \frac{1}{7(\alpha-1)}\right)\sigma$。
• 在受限特征值条件 RE(2s) 下，预测误差界变为 $\frac{160}{\kappa^4(2s)} \sigma^2 s \frac{\log^{1+\delta} M}{n}$，表明实现了最优收敛速率。
• 结果可推广至具有有限方差的次高斯噪声，且在此情况下，除非 $T$ 增大，否则无法完全消除对 $M$ 的依赖。
• 事件 $\mathcal{A}^c$（集中失败）的概率被限制在 $\frac{(2e\log M - e)c'}{\log^{1+\delta} M}$ 以内，该界随 $M$ 和 $T$ 的增大而衰减。