[论文解读] New perspectives on k-support and cluster norms

Andrew M. McDonald, Massimiliano Pontil+1 more|arXiv (Cornell University)|Jan 1, 2016

Sparse and Compressive Sensing Techniques参考文献 47被引用 33

一句话总结

本文引入了盒范数（box-norm），一种基于参数化二次函数下确界的新型正则化项，表明k-支持范数属于该家族，且盒范数可视为k-支持范数的扰动。作者开发了一种改进算法以高效计算平方盒范数的邻近算子，将范数扩展至矩阵形式，提出谱k-支持范数与谱盒范数，并证明谱盒范数等价于聚类范数；数值实验表明，在矩阵补全与多任务学习中，其中心化变体表现出当前最先进的性能。

ABSTRACT

We study a regularizer which is defined as a parameterized in_mum of quadratics, and which we call the box-norm. We show that the k-support norm, a regularizer proposed by Argyriou et al. (2012) for sparse vector prediction problems, belongs to this family, and the box-norm can be generated as a perturbation of the former. We derive an improved algorithm to compute the proximity operator of the squared box-norm, and we provide a method to compute the norm. We extend the norms to matrices, introducing the spectral k-support norm and spectral box-norm. We note that the spectral box-norm is essentially equivalent to the cluster norm, a multitask learning regularizer introduced by Jacob et al. (2009a), and which in turn can be interpreted as a perturbation of the spectral k-support norm. Centering the norm is important for multitask learning and we also provide a method to use centered versions of the norms as regularizers. Numerical experiments indicate that the spectral k-support and box-norms and their centered variants provide state of the art performance in matrix completion and multitask learning problems respectively.

研究动机与目标

• 开发一种基于二次函数下确界的新型正则化家族，称为盒范数，用于稀疏向量与矩阵学习。
• 建立k-支持范数、盒范数与聚类范数之间的理论联系，证明盒范数是k-支持范数的扰动形式。
• 将范数推广至矩阵形式，提出用于多任务学习与矩阵补全的谱k-支持范数与谱盒范数。
• 提供高效算法以计算盒范数及其谱变体的邻近算子与范数值。
• 引入并评估范数的中心化变体，以提升多任务学习场景下的性能。

提出的方法

• 盒范数被定义为参数化二次函数族的下确界，从而推广k-支持范数。
• 通过凸优化技术，推导出一种改进算法，用于高效计算平方盒范数的邻近算子。
• 通过奇异值将k-支持范数与盒范数推广至矩阵形式，得到谱k-支持范数与谱盒范数。
• 证明谱盒范数在数学上等价于聚类范数，即一种已知的多任务学习正则化项。
• 通过将奇异值进行平移，构造范数的中心化变体，以确保任务间均值为零，从而提升多任务学习中的泛化性能。
• 提供数值方法以高效计算范数值，从而支持大规模学习问题中的实际应用。

实验结果

研究问题

• RQ1 k-支持范数能否被重新诠释为基于二次函数下确界的更广泛正则化家族的一部分？
• RQ2 盒范数与k-支持范数之间存在何种关系？盒范数如何作为k-支持范数的扰动形式出现？
• RQ3 盒范数能否自然地推广至矩阵形式？由此产生的谱范数具有何种性质？
• RQ4 谱盒范数是否等价于聚类范数？该等价性对多任务学习有何影响？
• RQ5 盒范数与谱盒范数的中心化变体在多任务学习与矩阵补全任务中如何提升性能？

主要发现

• 谱盒范数在数学上等价于聚类范数，建立了此前两个独立正则化项之间的全新理论联系。
• 通过所提算法，平方盒范数的邻近算子可更高效地计算，显著提升了计算可扩展性。
• 谱k-支持范数与谱盒范数在矩阵补全任务中达到当前最先进的性能，优于现有基线方法。
• 谱盒范数与k-支持范数的中心化变体在多任务学习中表现显著提升，尤其在小样本场景下优势明显。
• 数值实验验证了谱盒范数及其中心化变体在多样化多任务学习与矩阵补全基准测试中均表现出优异的实证性能。