[论文解读] Regularization Techniques for Learning with Matrices

Sham M. Kakade, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Oct 4, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用 4

一句话总结

本文提出了一种基于强凸性和光滑性对偶性的统一框架，用于矩阵正则化，适用于机器学习中的多任务学习、多分类和核学习。该框架通过利用强凸性与强光滑性之间的对偶关系，实现了更紧致的一般化和遗憾界。研究表明，组范数（如 ℓ2,1 范数）和谱范数（如核范数）可诱导强凸性，从而系统地推导出高效算法，其样本复杂度更低，边界更优，优于以往工作。

ABSTRACT

There is growing body of learning problems for which it is natural to organize the parameters into matrix, so as to appropriately regularize the parameters under some matrix norm (in order to impose some more sophisticated prior knowledge). This work describes and analyzes a systematic method for constructing such matrix-based, regularization methods. In particular, we focus on how the underlying statistical properties of a given problem can help us decide which regularization function is appropriate. Our methodology is based on the known duality fact: that a function is strongly convex with respect to some norm if and only if its conjugate function is strongly smooth with respect to the dual norm. This result has already been found to be a key component in deriving and analyzing several learning algorithms. We demonstrate the potential of this framework by deriving novel generalization and regret bounds for multi-task learning, multi-class learning, and kernel learning.

研究动机与目标

• 开发一种系统化的方法，根据学习问题的潜在统计特性选择合适的矩阵正则化函数。
• 通过矩阵参数统一并简化在线和批量学习算法的分析，尤其针对多任务学习、多分类学习和核学习。
• 通过利用矩阵范数中强凸性与强光滑性之间的对偶关系，推导出更紧致的一般化和遗憾边界。
• 证明组范数（如 ℓ2,1 范数）和谱范数（如核范数）可提升结构化学习任务中的样本复杂度和性能。
• 在多核学习中简化并改进已有边界，表明其对基础核数量的对数依赖关系。

提出的方法

• 利用强凸性与强光滑性之间的对偶性，推导出矩阵正则化学习算法的一般遗憾和一般化边界。
• 将该对偶性应用于矩阵范数，如 ℓ2,1（组套索）和核（谱）范数，证明其可诱导强凸性。
• 基于这些范数，推导出用于多任务学习、多分类分类和核学习的模板在线和批量算法。
• 采用 Rademacher 复杂度和基于范数的正则化，以在核学习设置中界定一般化误差。
• 建立多核学习与组套索之间的等价性，使该框架可直接应用于核组合问题。
• 利用从强凸性-光滑性对偶性中推导出的关键不等式，统一并简化了不同学习设置下的证明。

实验结果

研究问题

• RQ1 如何基于学习问题的统计特性系统化地设计矩阵正则化？
• RQ2 哪些矩阵范数（如 ℓ2,1 或核范数）可在多任务和多分类学习中实现最优的一般化和遗憾边界？
• RQ3 强凸性/光滑性对偶性是否可用于推导出比以往方法更紧致、更简洁的多核学习边界？
• RQ4 正则化函数的选择如何影响结构化学习任务中的样本复杂度和性能？
• RQ5 该框架在具有矩阵参数的在线和批量学习中，能在多大程度上简化并改进现有遗憾和一般化边界？

主要发现

• 该框架在多核学习中实现了 O(√(B log k / (γ²n))) 的一般化边界，对基础核数量 k 的依赖为对数关系，显著优于以往具有 O(√(Bk / (γ²n))) 依赖的边界。
• 在多分类学习中，所提出的 ℓ2,1 正则化组感知机算法通过利用类别间的共享结构，优于以往方法。
• 分析表明，在在线多任务学习中，错误次数被限制为 min_W ∑t lt(W) + O(X∞ ||W||₂,₁ √(log d |I|))，在共享结构下表现出更优的样本复杂度。
• 该框架简化并锐化了现有在线多任务学习的边界，优于 Cavallanti 等人（2008）和 Agarwal 等人（2008）的结果。
• 所推导的多核学习边界比 Lanckriet 等人（2004）和 Srebro 与 Ben-David（2006）的结果更紧致，尤其在 k ≥ n 时，先前边界趋于无意义。
• 该方法可通过强凸性对偶性无缝推导出 Rademacher 复杂度边界，避免了 Ying 和 Campbell（2009）中使用的复杂分析（如 Rademacher 混沌过程）。