[论文解读] On the Similarity between the Laplace and Neural Tangent Kernels

Amnon Geifman, Abhay Kumar Yadav+4 more|arXiv (Cornell University)|Jul 3, 2020

Neural Networks and Applications参考文献 48被引用 12

一句话总结

该论文表明，当数据被归一化到超球面时，全连接ReLU网络的神经正切核（NTK）在数学上等价于拉普拉斯核，二者具有相同的特征函数和多项式特征值衰减率。这表明它们具有相同的再生核希尔伯特空间（RKHS），从而解释了其相似的泛化与训练动态；实验结果表明，在真实数据集上性能近乎一致，而使用广义γ-指数核则略有提升。

ABSTRACT

Recent theoretical work has shown that massively overparameterized neural networks are equivalent to kernel regressors that use Neural Tangent Kernels(NTK). Experiments show that these kernel methods perform similarly to real neural networks. Here we show that NTK for fully connected networks is closely related to the standard Laplace kernel. We show theoretically that for normalized data on the hypersphere both kernels have the same eigenfunctions and their eigenvalues decay polynomially at the same rate, implying that their Reproducing Kernel Hilbert Spaces (RKHS) include the same sets of functions. This means that both kernels give rise to classes of functions with the same smoothness properties. The two kernels differ for data off the hypersphere, but experiments indicate that when data is properly normalized these differences are not significant. Finally, we provide experiments on real data comparing NTK and the Laplace kernel, along with a larger class ofγ-exponential kernels. We show that these perform almost identically. Our results suggest that much insight about neural networks can be obtained from analysis of the well-known Laplace kernel, which has a simple closed-form.

研究动机与目标

• 研究神经正切核（NTK）与经典核方法（尤其是拉普拉斯核）之间的理论与实证关系。
• 确定NTK在深度学习中的成功是否可归因于其与已被充分理解的核函数（如拉普拉斯核）共享的性质。
• 评估是否可利用拉普拉斯核的洞见来理解或改进基于NTK的学习方法。
• 在真实世界数据集上比较NTK、拉普拉斯核、高斯核与广义γ-指数核，以评估性能差异。

提出的方法

• 利用球谐函数与积分算子，对超球面𝕊^{d−1}上的NTK与拉普拉斯核的特征函数和特征值衰减率进行理论分析。
• 推导拉普拉斯核在超球面上的谱性质以及深度全连接网络中NTK的谱性质的新结果。
• 通过交叉验证与FALKON算法实现可扩展的核岭回归，对MNIST、CIFAR-10及大规模UCI数据集上的NTK、拉普拉斯核、高斯核与γ-指数核进行实证比较。
• 使用分层指数核（C-Exp）建模图像数据，结合局部块相似性与跨层核组合。
• 通过非线性最小二乘优化，将C-Exp核的参数拟合为匹配归一化图像块上两层ReLU网络的NTK行为。
• 对核矩阵进行归一化，并应用岭正则化（λ=5×10⁻⁵）以确保数值稳定性。

实验结果

研究问题

• RQ1 当数据位于超球面上时，神经正切核与拉普拉斯核是否共享相同的再生核希尔伯特空间（RKHS）？
• RQ2 NTK与拉普拉斯核在超球面上的特征函数与特征值衰减率是否完全相同，从而暗示其函数类等价？
• RQ3 在实际应用中，NTK与拉普拉斯核的泛化与训练动态表现如何比较？
• RQ4 广义γ-指数核是否能在真实世界机器学习基准上超越NTK？
• RQ5 核函数在超球面外的行为差异在真实数据应用中在多大程度上影响性能？

主要发现

• 在超球面上，深度ReLU网络的NTK与拉普拉斯核具有相同的特征函数，并表现出完全一致的多项式特征值衰减率，实证斜率在𝕊¹上为-1.94，在𝕊²上为-2.75。
• 这种谱等价性意味着两个核诱导出相同的再生核希尔伯特空间（RKHS），即代表相同的光滑函数类。
• 在MNIST与CIFAR-10上的实验表明，拉普拉斯核与NTK性能几乎完全一致，多次运行的测试准确率相当。
• 广义γ-指数核在多个标准数据集（包括HIGGS与SUSY）上略优于NTK，最优γ值约为1.6–1.8。
• 在大规模数据集（如MillionSongs、HIGGS、SUSY）上，γ-指数核优于NTK与拉普拉斯核，最佳超参数通过交叉验证确定。
• 分层C-Exp核架构通过跨层组合局部相似性，成功建模图像数据，并取得具有竞争力的性能，其参数经优化以匹配NTK行为。