[论文解读] Relating Leverage Scores and Density using Regularized Christoffel Functions

Edouard Pauwels, Francis R. Bach+1 more|arXiv (Cornell University)|May 21, 2018

Statistical Methods and Inference被引用 12

一句话总结

本文引入了一种正则化的Christoffel函数作为变分框架，将核方法中的统计杠杆度量与数据密度联系起来。研究证明，在低密度区域，杠杆度量与密度成反比衰减，定量表明对于Sobolev型核函数，有 $\text{leverage}(z) \propto p(z)^{d/(2s)-1}$，其中 $d/(2s)-1 < 0$，意味着稀疏区域的杠杆度量更高。

ABSTRACT

Statistical leverage scores emerged as a fundamental tool for matrix sketching and column sampling with applications to low rank approximation, regression, random feature learning and quadrature. Yet, the very nature of this quantity is barely understood. Borrowing ideas from the orthogonal polynomial literature, we introduce the regularized Christoffel function associated to a positive definite kernel. This uncovers a variational formulation for leverage scores for kernel methods and allows to elucidate their relationships with the chosen kernel as well as population density. Our main result quantitatively describes a decreasing relation between leverage score and population density for a broad class of kernels on Euclidean spaces. Numerical simulations support our findings.

研究动机与目标

• 阐明核学习中杠杆度量与数据密度之间的内在关系。
• 在再生核希尔伯特空间（RKHS）中，利用正则化的Christoffel函数发展杠杆度量的变分公式。
• 推导正则化Christoffel函数在正则化参数 $\lambda \to 0^+$ 时的渐近展开式。
• 量化杠杆度量如何依赖于底层总体密度 $p(z)$ 和核结构。
• 为观察到的杠杆度量在低密度区域更高的现象提供理论依据。

提出的方法

• 将正则化的Christoffel函数 $C_\lambda(z)$ 定义为在RKHS中具有有界范数的函数的变分极小化器。
• 建立 $1/C_\lambda(z)$ 对应于基于核的杠杆度量，将其与矩阵压缩和列采样联系起来。
• 在RKHS的假设下，特别是针对Sobolev型核函数，对 $C_\lambda(z)$ 进行渐近分析，当 $\lambda \to 0^+$ 时。
• 应用多元分析和傅里叶理论的工具，包括使用 $2s$-正多项式和Faà di Bruno公式处理高阶导数。
• 推导形如 $1/(1 + \lambda P^\gamma)$ 的有理函数的导数界，以控制 $C_\lambda(z)$ 在临界点附近的性质。
• 使用基于划分的微分法和多项式次数界，控制导数的增长并建立一致估计。

实验结果

研究问题

• RQ1 在核方法中，杠杆度量如何与底层数据密度相关？
• RQ2 正则化的Christoffel函数能否作为RKHS中杠杆度量的变分代理？
• RQ3 当 $\lambda \to 0^+$ 时，正则化Christoffel函数的渐近行为如何？
• RQ4 杠杆度量是否系统性地依赖于局部密度，如果是，其依赖关系如何？
• RQ5 该关系能否通过常见核类的显式标度律进行量化？

主要发现

• 正则化Christoffel函数满足渐近等价式 $C_\lambda(z) \sim q_0^{-1} \lambda^{d/(2s)} p(z)^{1 - d/(2s)}$，当 $\lambda \to 0^+$ 时，其中 $q_0$ 仅依赖于RKHS。
• 在极限情况下，杠杆度量按 $p(z)^{d/(2s) - 1}$ 缩放，意味着低密度区域（$p(z)$ 较小）的点获得更高的杠杆度量。
• 当 $s > d/2$ 时，指数 $d/(2s) - 1 < 0$，证实了在稀疏区域杠杆度量增加。
• 与岭回归和核方法中已知的自由度估计一致，其关于 $\lambda$ 的缩放关系成立。
• 该结果意味着当存在低密度区域时，最大杠杆度量与平均杠杆度量的比值可能很大，从而影响采样效率。
• 数值模拟验证了杠杆度量随密度增加而衰减的预测，支持理论渐近分析。