[论文解读] Wasserstein regularization for sparse multi-task regression

Hicham Janati, Marco Cuturi+1 more|arXiv (Cornell University)|May 20, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用 14

一句话总结

本文提出多任务Wasserstein（MTW），一种用于稀疏多任务回归的凸正则化方法，通过非平衡最优传输（OT）利用几何结构来建模回归系数之间的关系，而无需假设支持重叠。结合Sinkhorn正则化最优传输与邻近坐标下降法，MTW在合成数据集和神经影像数据集上均优于当前最先进方法，在非重叠或部分重叠特征场景下表现尤为突出。

ABSTRACT

We focus in this paper on high-dimensional regression problems where each regressor can be associated to a location in a physical space, or more generally a generic geometric space. Such problems often employ sparse priors, which promote models using a small subset of regressors. To increase statistical power, the so-called multi-task techniques were proposed, which consist in the simultaneous estimation of several related models. Combined with sparsity assumptions, it lead to models enforcing the active regressors to be shared across models, thanks to, for instance L1 / Lq norms. We argue in this paper that these techniques fail to leverage the spatial information associated to regressors. Indeed, while sparse priors enforce that only a small subset of variables is used, the assumption that these regressors overlap across all tasks is overly simplistic given the spatial variability observed in real data. In this paper, we propose a convex regularizer for multi-task regression that encodes a more flexible geometry. Our regularizer is based on unbalanced optimal transport (OT) theory, and can take into account a prior geometric knowledge on the regressor variables, without necessarily requiring overlapping supports. We derive an efficient algorithm based on a regularized formulation of OT, which iterates through applications of Sinkhorn's algorithm along with coordinate descent iterations. The performance of our model is demonstrated on regular grids with both synthetic and real datasets as well as complex triangulated geometries of the cortex with an application in neuroimaging.

研究动机与目标

• 为解决现有多任务Lasso方法假设各任务间活跃特征完全重叠的局限性，该假设在空间结构化数据中往往不现实。
• 在不强制要求共享支持的前提下，将回归器位置（如脑区、气候站）的几何信息融入多任务回归。
• 开发一种凸的、可扩展的优化框架，以实现高维、稀疏、多任务回归问题中的高效学习。
• 证明通过最优传输建模特征邻近性可提升支持恢复与统计性能，相较于标准的稀疏诱导范数。

提出的方法

• 提出一种基于非平衡最优传输（OT）的新型凸正则化器，用于度量多任务间系数向量的相似性，编码回归器之间的几何关系。
• 采用带熵平滑的OT正则化形式，通过Sinkhorn算法实现高效计算，支持GPU加速。
• 将Sinkhorn迭代与邻近坐标下降结合，用于交替优化多任务回归问题。
• 利用基于回归器物理或几何结构（如皮层网格测地距离）的基度量来引导传输成本。
• 将方法应用于规则网格与复杂三角化几何结构（如人类皮层）中，以建模空间分布的特征。
• 从系数向量中推导出潜在的重心（barycenter），以识别队列中最具代表性的特征。

实验结果

研究问题

• RQ1 是否可利用最优传输在不假设共享活跃特征的前提下，建模多任务学习中回归系数间的几何关系？
• RQ2 基于Wasserstein的正则化器在恢复稀疏、非重叠支持方面，与传统ℓ1/ℓq范数相比表现如何？
• RQ3 在样本有限的高维回归中，引入几何结构在多大程度上能提升统计效能？
• RQ4 所提出方法是否能高效扩展至复杂非欧几里得几何结构（如皮层表面）？

主要发现

• MTW在支持恢复的AUC得分上显著优于独立Lasso和多任务Lasso，在50%重叠、每任务6个非零特征的合成MEG数据上达到0.92的AUC。
• 在非重叠支持场景下，MTW的AUC达0.91，而独立Lasso仅为0.54，证明其能有效利用空间邻近性。
• 随着任务数增加，MTW保持一致的性能增益，AUC从2个任务时的0.78提升至8个任务时的0.90，而Dirty模型的性能则趋于饱和。
• MTW学习到的潜在重心能有效识别跨受试者最具代表性的激活模式，在神经影像应用中突出共性特征。
• 在真实MEG数据（SNR = 4）上，MTW在30次试验中的平均AUC达0.88，优于MLL和Dirty模型在所有重叠水平下的表现。
• 该方法对支持重叠程度变化具有鲁棒性，即使重叠低至20%，MTW仍保持优异性能。