[论文解读] Risk Bounds for Learning Multiple Components with Permutation-Invariant Losses

Fabien Lauer|arXiv (Cornell University)|Apr 16, 2019

Sparse and Compressive Sensing Techniques参考文献 1被引用 4

一句话总结

本文提出了一种新颖且简洁的方法，通过在稀疏性诱导正则化下利用Rademacher复杂度分解，推导出具有置换不变损失函数的多组件学习问题的更紧致的一般化误差界。该方法对组件数量C的依赖程度较弱，甚至在某些情况下完全消除依赖，尤其适用于非凸ℓp-准范数正则化（p∈(0,1)）的情形，而此前的方法无法处理此类情况。

ABSTRACT

This paper proposes a simple approach to derive efficient error bounds for learning multiple components with sparsity-inducing regularization. We show that for such regularization schemes, known decompositions of the Rademacher complexity over the components can be used in a more efficient manner to result in tighter bounds without too much effort. We give examples of application to switching regression and center-based clustering/vector quantization. Then, the complete workflow is illustrated on the problem of subspace clustering, for which decomposition results were not previously available. For all these problems, the proposed approach yields risk bounds with mild dependencies on the number of components and completely removes this dependence for nonconvex regularization schemes that could not be handled by previous methods.

研究动机与目标

• 解决多组件学习问题（如子空间聚类、切换回归和向量量化）中缺乏高效一般化误差界的问题。
• 克服先前方法在风险界中对组件数量C存在线性或平方根依赖的局限性。
• 将现有理论框架扩展至处理非凸正则化方案（例如p∈(0,1)的ℓp-准范数），此类方案可促进稀疏性，但此前分析难以处理。
• 通过复用已知的Rademacher复杂度分解结果，提供一种统一且简洁的方法，适用于多种不同问题。
• 实现对返回非凸稀疏组件模型的实际算法的模型选择与理论支持。

提出的方法

• 利用损失函数的置换不变性，将整体损失类的Rademacher复杂度分解为各组件的贡献。
• 应用已知的独立组件类乘积类的分解结果，以界定向整体损失类的Rademacher复杂度。
• 利用ℓp-范数与其对偶之间的对偶性，推导出在p=2时复杂度量级为O(√C)，在p=1时为O(log C)，而对于p<1则完全消除对C的依赖。
• 将该方法应用于三个问题：切换回归、向量量化和子空间聚类，利用各问题特有的分解结构。
• 通过经验Rademacher复杂度估计获得统一风险界，避免依赖计算上不可行的经验风险最小化器。
• 利用投影矩阵的迹与Frobenius范数恒等式，界定向子空间聚类模型的复杂度。

实验结果

研究问题

• RQ1 我们能否为具有稀疏性诱导正则化的多组件学习问题推导出更紧致的一般化误差界？
• RQ2 在具有置换不变损失的模型中，组件数量C的依赖关系如何影响风险界？
• RQ3 该理论框架能否扩展至非凸正则化方案（如p∈(0,1)的ℓp-准范数）？
• RQ4 置换不变性对Rademacher复杂度分解及其结果风险界有何影响？
• RQ5 所提出的方法能否系统性地应用于切换回归、聚类和子空间聚类等多样化问题？

主要发现

• 所提方法在ℓ2-正则化下对组件数量C的依赖为O(√C)，优于先前的线性界。
• 在ℓ1-正则化下，方法实现了对C的O(log C)依赖，与当前最先进结果一致，但推导过程更简洁。
• 对于非凸ℓp-准范数正则化（p∈(0,1)），方法在风险界中完全消除了对C的依赖，这是先前方法无法实现的结果。
• 该方法成功应用于切换回归，将风险界中对C的依赖从线性降低为次线性。
• 在希尔伯特空间中的向量量化问题中，该方法优于现有界，后者对C的依赖为√C或线性。
• 在子空间聚类问题中——此前缺乏理论分析——该方法首次基于此框架完成了完整风险界推导，证明了其通用性与实用性。