[论文解读] On the Equivalence between Kernel Quadrature Rules and Random Feature Expansions

Francis Bach|arXiv (Cornell University)|Feb 24, 2015

Mathematical Approximation and Integration参考文献 63被引用 169

一句话总结

本文建立了核积分求积规则与随机特征展开之间的理论等价性，表明最优求积点可作为随机特征采样的特例推导得出。基于核的特征值，本文仅通过核特征值推导出逼近误差的紧致上下界，上下界仅相差对数因子，并通过减少所需随机特征数量，改进了利普希茨连续损失下的泛化保证。

ABSTRACT

We show that kernel-based quadrature rules for computing integrals can be seen as a special case of random feature expansions for positive definite kernels, for a particular decomposition that always exists for such kernels. We provide a theoretical analysis of the number of required samples for a given approximation error, leading to both upper and lower bounds that are based solely on the eigenvalues of the associated integral operator and match up to logarithmic terms. In particular, we show that the upper bound may be obtained from independent and identically distributed samples from a specific non-uniform distribution, while the lower bound if valid for any set of points. Applying our results to kernel-based quadrature, while our results are fairly general, we recover known upper and lower bounds for the special cases of Sobolev spaces. Moreover, our results extend to the more general problem of full function approximations (beyond simply computing an integral), with results in L2- and L$\\infty$-norm that match known results for special cases. Applying our results to random features, we show an improvement of the number of random features needed to preserve the generalization guarantees for learning with Lipschitz-continuous losses.

研究动机与目标

• 建立正定核的基于核的求积规则与随机特征展开之间的理论联系。
• 推导在核积分求积中，为达到给定逼近误差所需样本数的紧致上下界。
• 将分析扩展至 $L_2$ 和 $L_\infty$-范数下的完整函数逼近，而不仅限于积分计算。
• 通过减少满足利普希茨连续损失的泛化保证所需的随机特征数量，改进监督学习中的泛化保证。
• 证明最优求积点可通过从基于核特征值导出的非均匀分布中进行独立同分布采样生成。

提出的方法

• 分析基于泛函分析，利用与核及测度相关的积分算子的特征分解。
• 本文将核积分求积形式化为随机特征展开的一个特例，采用对正定核始终存在的特定分解。
• 通过从核的特征值构造非均匀采样分布，推导出上界，从而实现具有最优收敛速率的独立同分布采样。
• 针对任意点集推导下界，表明任何点配置都无法优于所推导的界。
• 该框架同时应用于求积与函数逼近，得到与已知结果一致的 $L_2$ 和 $L_\infty$ 误差界，适用于如索博列夫空间等特殊情况。
• 在随机特征方面，该方法通过减少维持误差界所需特征数量，改进了泛化保证。

实验结果

研究问题

• RQ1 核积分求积规则能否被正式解释为随机特征展开的一个特例？
• RQ2 在核积分求积中，为达到给定逼近误差，最优样本数量是多少？其如何随核的性质变化？
• RQ3 相同的理论框架能否对完整函数逼近（而不仅限于积分估计）产生紧致的误差界？
• RQ4 所提出的方法如何减少维持监督学习中泛化性能所需的随机特征数量？
• RQ5 是否存在一种非均匀采样分布，可实现求积误差的最优上界？

主要发现

• 本文确立了核积分求积是随机特征展开的一个特例，且对正定核始终存在的分解。
• 对于给定误差，样本数量的上下界仅相差对数因子，且仅依赖于核的积分算子的特征值。
• 通过从基于核特征值导出的非均匀分布进行独立同分布采样，可实现上界。
• 对于索博列夫空间，所推导的界恢复了已知的收敛速率，例如 $s=1$ 时为 $n^{-2}$，$s=2$ 时为 $n^{-4}$，验证了一致性。
• 该框架可扩展至函数的 $L_2$ 和 $L_\infty$-范数逼近，所得界与特殊情形（如索博列夫空间）的已知结果一致。
• 在随机特征学习中，该方法减少了为保持利普希茨连续损失下的泛化保证所需特征数量。