[论文解读] On the Equivalence between Quadrature Rules and Random Features

Francis Bach|arXiv (Cornell University)|Feb 24, 2015

Mathematical Approximation and Integration参考文献 51被引用 28

一句话总结

本文通过证明在特定核分解下，基于核的积分求积规则是随机特征展开的一个特例，建立了核积分求积规则与随机特征展开之间的理论等价性。基于核的特征值，推导出样本复杂度的紧致上下界，上下界之间仅相差对数因子，并将结果扩展至Lipschitz损失下的函数逼近与泛化分析。

ABSTRACT

We show that kernel-based quadrature rules for computing integrals are a special case of random feature expansions for positive definite kernels for a particular decomposition that always exists for such kernels. We provide a theoretical analysis of the number of required samples for a given approximation error, leading to both upper and lower bounds that are based solely on the eigenvalues of the associated integral operator and match up to logarithmic terms. In particular, we show that the upper bound may be obtained from independent and identically distributed samples from a known nonuniform distribution, while the lower bound if valid for any set of points. Applying our results to kernel-based quadrature, while our results are fairly general, we recover known upper and lower bounds for the special cases of Sobolev spaces. Moreover, our results extend to the more general problem of full function approximations (beyond simply computing an integral), with results in L2- and L1-norm that match known results for special cases. Applying our results to random features, we show an improvement of the number of random features needed to preserve the generalization guarantees for learning with Lipshitz-continuous losses.

研究动机与目标

• 建立正定核下基于核的积分求积规则与随机特征展开之间的理论联系。
• 推导出在积分计算中达到给定近似误差所需样本数的紧致上下界。
• 将分析从积分扩展至L2和L1范数下的完整函数逼近。
• 通过将边界应用于泛化保证，提升机器学习中Lipschitz连续损失的样本效率。

提出的方法

• 利用与正定核相关的积分算子的谱分解，定义一种特定的随机特征展开。
• 基于从核的特征值导出的非均匀分布的独立同分布样本，推导出样本复杂度的上界。
• 建立适用于任意点集的下界，证明任何点配置都无法优于该下界。
• 将边界应用于基于核的积分求积，恢复了Sobolev空间下的已知结果作为特例。
• 通过分析L2-和L1-范数的逼近误差，将框架扩展至函数逼近。
• 利用推导出的边界，改进在Lipschitz连续损失学习中保持泛化保证所需的随机特征数量。

实验结果

研究问题

• RQ1 在正定核的背景下，基于核的积分求积规则与随机特征展开之间有何关系？
• RQ2 仅基于核的特征值，达到给定积分误差所需的样本数的最紧致上下界是什么？
• RQ3 积分的理论框架能否扩展至L2和L1范数下的完整函数逼近？
• RQ4 这些边界如何提升在Lipschitz连续损失下机器学习中随机特征的样本效率？

主要发现

• 在核的特定分解下，基于核的积分求积规则在形式上是随机特征展开的一个特例。
• 样本复杂度的上界可通过从由核特征值导出的已知非均匀分布中独立同分布采样实现。
• 样本复杂度的下界适用于任意点集，证明任何点配置都无法优于该下界。
• 推导出的边界与Sobolev空间下的已知结果一致，验证了特例下的自洽性。
• 该框架可扩展至函数逼近，得到与已有结果一致的紧致L2-和L1-范数误差边界。
• 该分析改进了在Lipschitz连续损失学习中保持泛化保证所需的随机特征数量。