[论文解读] On Kernel Derivative Approximation with Random Fourier Features

Zoltán Szabó, Bharath K. Sriperumbudur|arXiv (Cornell University)|Oct 11, 2018

Neural Networks and Applications参考文献 29被引用 5

一句话总结

该论文首次为随机傅里叶特征（RFF）在近似核导数方面建立了有限样本保证，证明RFF在核导数近似上的精度与核值近似相同。通过利用无界经验过程理论，作者表明近似有效性的定义域可被指数级扩展，证明RFF在基于导数的核学习任务中具有最优效率。

ABSTRACT

Random Fourier features (RFF) represent one of the most popular and wide-spread techniques in machine learning to scale up kernel algorithms. Despite the numerous successful applications of RFFs, unfortunately, quite little is understood theoretically on their optimality and limitations of their performance. Only recently, precise statistical-computational trade-offs have been established for RFFs in the approximation of kernel values, kernel ridge regression, kernel PCA and SVM classification. Our goal is to spark the investigation of optimality of RFF-based approximations in tasks involving not only function values but derivatives, which naturally lead to optimization problems with kernel derivatives. Particularly, in this paper, we focus on the approximation quality of RFFs for kernel derivatives and prove that the existing finite-sample guarantees can be improved exponentially in terms of the domain where they hold, using recent tools from unbounded empirical process theory. Our result implies that the same approximation guarantee is attainable for kernel derivatives using RFF as achieved for kernel values.

研究动机与目标

• 为解决RFF在近似核导数方面缺乏理论理解的问题，而核导数在涉及梯度的优化与学习任务中至关重要。
• 利用经验过程理论的先进工具，将有限样本近似保证从核值扩展到核导数。
• 建立RFF对核导数的近似性能与核值近似性能的边界一致，确保理论最优性。
• 研究基于导数的核方法中的统计-计算权衡，特别是在RFF背景下的表现。

提出的方法

• 作者利用无界经验过程理论分析RFF在核导数近似中的误差，重点关注紧致定义域上的$L^r$-范数收敛性。
• 通过将误差与一致范数及定义域的几何特性关联，推导出RFF对核导数近似在$L^r$-范数下的通用误差界。
• 该方法涉及分析核的傅里叶变换的矩生成函数，并利用伯恩斯坦条件以实现类似次高斯的行为。
• 对于高斯核，作者验证了$r=1,2$时的伯恩斯坦条件，并证明了所需矩条件在显式常数下成立。
• 通过斯特林公式和渐近分析评估$r=3,4$时伯恩斯坦条件的可行性，结果表明由于阶乘增长过快，高阶$r$时条件不成立。
• 该理论框架使近似保证的有效定义域相比先前结果实现了指数级扩展。

实验结果

研究问题

• RQ1 RFF能否在有限样本下对核导数实现与核值近似相同的近似保证？
• RQ2 使用RFF近似核导数时，统计-计算权衡如何体现？
• RQ3 在RFF采样下，经验过程边界所必需的伯恩斯坦条件是否对核导数成立？
• RQ4 在近似导数时，能否显著扩展RFF近似有效性的定义域？
• RQ5 核的傅里叶变换的矩条件如何影响RFF对导数近似误差的收敛性？

主要发现

• 论文证明RFF可对核导数实现与核值近似相同的有限样本误差界，确立了理论最优性。
• 通过无界经验过程理论，作者在近似保证有效定义域的大小上相比先前工作实现了指数级改进。
• 对于高斯核，$r=1$和$r=2$时验证了伯恩斯坦条件，确保了RFF近似误差的集中界有效。
• 对于$r=3$和$r=4$，由于矩条件中阶乘增长过快，伯恩斯坦条件在渐近下不成立，表明高阶近似存在局限性。
• $L^r$-范数下RFF对核导数的近似误差受一致范数与定义域几何测度的组合项限制，从而实现基于定义域的误差控制。
• 结果表明，RFF不仅计算高效，而且在基于导数的核学习任务中具有统计最优性。