[论文解读] On the Sample Complexity of Learning with Geometric Stability.

Alberto Bietti, Luca Venturi+1 more|arXiv (Cornell University)|Jun 14, 2021

Machine Learning and Algorithms参考文献 2被引用 6

一句话总结

本文通过在球面上利用球谐分解，分析了核方法在学习具有几何稳定性（如群作用下的不变性（例如旋转、排列）或对微小形变的稳定性）的函数时的样本复杂度。研究发现，使用不变核可将样本复杂度降低为群大小的因子，且收益为渐近出现，取决于群的谱性质。

ABSTRACT

Many supervised learning problems involve high-dimensional data such as images, text, or graphs. In order to make efficient use of data, it is often useful to leverage certain geometric priors in the problem at hand, such as invariance to translations, permutation subgroups, or stability to small deformations. We study the sample complexity of learning problems where the target function presents such invariance and stability properties, by considering spherical harmonic decompositions of such functions on the sphere. We provide non-parametric rates of convergence for kernel methods, and show improvements in sample complexity by a factor equal to the size of the group when using an invariant kernel over the group, compared to the corresponding non-invariant kernel. These improvements are valid when the sample size is large enough, with an asymptotic behavior that depends on spectral properties of the group. Finally, these gains are extended beyond invariance groups to also cover geometric stability to small deformations, modeled here as subsets (not necessarily subgroups) of permutations.

研究动机与目标

• 理解几何稳定性（如对群作用的不变性或对微小形变的稳定性）如何影响监督学习的样本复杂度。
• 分析当目标函数在结构化变换下表现出不变性或稳定性时，核方法的性能。
• 利用球谐分解，推导在几何先验下核学习的非参数收敛速率。
• 量化使用不变核相比标准核在高维设置下对样本复杂度的改进程度。

提出的方法

• 本文通过群作用（如旋转、排列）及其谱性质（特别是紧致群的表示理论）来建模几何稳定性。
• 采用球谐分解在球面上表示函数，从而实现对学习问题的谱分析。
• 分析聚焦于核方法，比较使用群平均特征构建的不变核与非不变核。
• 通过考察依赖于群谱结构的核积分算子的特征值衰减，推导出非参数收敛速率。
• 该框架被扩展至子群之外，包括建模微小形变的排列子集，从而分析对扰动的稳定性。
• 基于群表示的维数和谱间隙，推导出理论界，表明样本复杂度存在渐近改进。

实验结果

研究问题

• RQ1 群作用下的不变性如何影响核方法在监督学习中的样本复杂度？
• RQ2 对于具有几何稳定性的函数，使用不变核相比非不变核在样本复杂度上能获得多大程度的定量提升？
• RQ3 群的谱特性如何影响核学习中的收敛速率和样本复杂度？
• RQ4 该框架能否扩展以建模小形变的稳定性，而不仅仅是子群下的完全不变性？
• RQ5 当样本量增大时，样本复杂度改进的渐近行为如何？其依赖于群结构的程度如何？

主要发现

• 在适当条件下，使用不变核相比非不变核，可将样本复杂度降低为群大小的因子。
• 样本复杂度的改进是渐近的，且依赖于群的谱特性，特别是核算子中特征值的衰减速率。
• 推导出在几何稳定性下核方法的非参数收敛速率，表明结构化不变性可改善泛化性能。
• 不变性带来的收益与群的表示理论密切相关，尤其体现在不可约表示的维数和谱间隙上。
• 该框架成功地从不变群扩展至小形变的稳定性建模（通过排列子集），并展示了类似的样本复杂度改进。