[论文解读] Relative concentration bounds for the spectrum of kernel matrices

Ernesto Araya Valdivia|arXiv (Cornell University)|Dec 5, 2018

Random Matrices and Applications参考文献 44被引用 4

一句话总结

本文建立了核矩阵特征值的相对浓度不等式，其收敛速率与特征值本身成比例，从而实现快于参数化、通常为指数级的收敛速度。该方法适用于非正定（不定）核——这对网络分析至关重要——通过Sobolev型正则性和谱展开收敛性，得到比经典Weyl型不等式更紧的界。

ABSTRACT

In this paper we study the concentration properties for the eigenvalues of kernel matrices, which are central objects in a wide range of kernel methods and, more recently, in network analysis. We present a set of concentration inequalities tailored for each individual eigenvalue of the kernel matrix with respect to its known asymptotic limit. The inequalities presented here are of relative type, meaning that they scale with the eigenvalue in consideration, which results in convergence rates that vary across the spectrum. The rates we obtain here are faster than the typical $Ø(\frac{1}{\sqrt n})$ and are often exponential, depending on regularity assumptions of Sobolev type. One key feature of our results is that they apply to non positive kernels, which is fundamental in the context of network analysis. We show how our results are well suited for the study of dot product kernels, which are related to random geometric graphs on the sphere, via the graphon formalism. We illustrate our results by applying them to a variety of dot product kernels on the sphere and to the one dimensional Gaussian kernel.

研究动机与目标

• 开发针对核矩阵单个特征值的更紧致、相对的浓度不等式，优于Weyl不等式等绝对界。
• 将浓度结果扩展至不定（非正定）核，这在通过图函数形式化方法进行现代网络分析中至关重要。
• 在Sobolev型正则性条件下，实现快于标准$\mathcal{O}(n^{-1/2})$参数化速率的收敛速度，特别是实现指数或近似指数级速率。
• 统一分析球面上点积核与一维高斯核的理论框架，基于谱展开收敛性。
• 为将希尔伯特空间与再生核Hilbert空间（RKHS）方法推广至不定核提供基础，而目前这些方法通常要求正定性。

提出的方法

• 推导Weyl型的相对浓度不等式，其中每个特征值的偏差与其自身大小成比例：$|\lambda_i(T_W) - \lambda_i(T_n)| \lesssim |\lambda_i| n^{-q}$，其中$0 < q < 1$。
• 使用核$W$的谱展开，并对特征值（多项式或指数衰减）和特征向量（一致有界）施加正则性条件。
• 采用三步框架：(1) 通过截断积分算子实现谱逼近，(2) 对有限秩逼近进行扰动分析，(3) 控制余项矩阵$E_R$的浓度。
• 在余项算子范数$\|E_R\|_{\text{op}}$上应用矩阵浓度工具，利用对特征函数的统一控制和衰减假设导出的界。
• 引入对尾部索引$[R, \infty) \cap \mathbb{N}$的分块策略，以在算子范数估计偏松时进一步收紧浓度界。
• 利用球面上点积核与图函数（特别是Erdős–Rényi图函数）之间的联系，验证在真实世界网络模型上的结果。

实验结果

研究问题

• RQ1 在低维设定下，核矩阵特征值的相对浓度不等式能否实现快于参数化速率的收敛速度？
• RQ2 此类界如何扩展至网络分析与图函数建模中常见的不定核？
• RQ3 对特征值与特征函数的何种正则性假设足以保证以指数速率实现紧密浓度？
• RQ4 能否实现谱展开收敛的统一控制，以在不依赖正定性的情况下获得相对误差界？
• RQ5 当余项矩阵范数被高估时，特别是在特征值衰减缓慢的核中，浓度步骤可实现何种改进？

主要发现

• 本文建立了形式为$|\lambda_i(T_W) - \lambda_i(T_n)| \lesssim_{\alpha} e^{-1.6i} n^{-1/2}$的相对浓度界，且在概率大于$1 - \alpha$时成立，适用于球面上的点积核与一维高斯核。
• 对于满足$\text{H}_2$条件且$s=0$、$\delta = \log 5$的核，收敛速率为$O(e^{-1.6i} n^{-1/2})$，表明特征值索引$i$上存在指数衰减。
• 结果适用于不定核，如逻辑斯蒂与邻近图函数，这些核未被现有基于正定性的方法覆盖。
• 该方法实现快于标准$\mathcal{O}(n^{-1/2})$速率的收敛，具体取决于特征值衰减与特征向量正则性，呈现指数或近似指数衰减。
• 该方法对谱展开中缺乏逐点相等性具有鲁棒性，通过使用特征函数的统一有界性和截断逼近实现。
• 该框架可扩展至核算子的$m$重复合，但可能降低收敛速率，表明通用性与紧致性之间存在权衡。