[论文解读] Neural tangent kernels, transportation mappings, and universal approximation

Ziwei Ji, Matus Telgarsky+1 more|arXiv (Cornell University)|Apr 30, 2020

Stochastic Gradient Optimization Techniques参考文献 29被引用 12

一句话总结

本文通过将目标函数建模为一个无限宽的线性化网络（其权重由随机初始化的传输映射导出），建立了神经正切核（NTK）的通用逼近率。结果表明，以高概率，通过将初始权重扰动 O(B/(eps * sqrt(m))) 可使 NTK 近似误差控制在 (sqrt(eps) + B/sqrt(eps * m))^2 以内，同时逼近目标函数和对应的浅层网络，其逼近率与已知的浅层网络结果一致，表明通用逼近是 NTK 框架的内在特性。

ABSTRACT

This paper establishes rates of universal approximation for the neural tangent kernel (NTK) in the standard setting of microscopic changes to initial weights. Concretely, given a target function f, a target width m, and a target approximation error eps>0, then with high probability, moving the initial weight vectors a distance B/(eps * sqrt{m}) will give a linearized finite-width NTK which is (sqrt(eps) + B/sqrt(eps * m))^2-close to both the target function f, and also the shallow network which this NTK linearized. The constant B can be independent of eps --- particular cases studied here include f having good Fourier transform or RKHS norm --- though in the worse case it scales roughly as 1/eps^d for general continuous functions. The method of proof is to rewrite f with equality as an infinite-width linearized network whose weights are a transport mapping applied to random initialization, and to then sample from this transport mapping. This proof therefore provides another perspective on the scaling behavior of the NTK: redundancy in the weights due to resampling allows weights to be scaled down. Since the approximation rates match those in the literature for shallow networks, this work implies that universal approximation is not reliant upon any behavior outside the NTK regime.

研究动机与目标

• 在有限宽度、线性化框架下，建立神经正切核（NTK）的通用逼近的定量速率。
• 理解逼近误差对目标函数复杂度、网络宽度 m 和期望精度 eps 的依赖关系。
• 表明 NTK 框架中的通用逼近不依赖于线性化核之外的动力学行为，其性能与浅层网络相当。
• 通过重采样和传输映射的新视角，提供对 NTK 缩放行为的重新理解。

提出的方法

• 将目标函数 f 重写为一个无限宽的线性化网络，其权重通过将随机初始权重向量施加传输映射生成。
• 定义传输映射，使得由此产生的无限宽网络能精确表示 f，从而实现对目标函数的精确分解。
• 从传输映射中采样，以构建 NTK 的有限宽度近似，确保高概率的逼近保证。
• 使用表达式 (sqrt(eps) + B/sqrt(eps * m))^2 来界定有限宽度 NTK 与 f 及对应浅层网络之间的逼近误差。
• 从函数性质（如傅里叶变换行为或 RKHS 范数）的角度分析常数 B，表明在有利情况下 B 可与 eps 无关。
• 表明在最坏情况下，B 的量级约为 1/eps^d（对一般连续函数），但在结构化设定下表现更优。

实验结果

研究问题

• RQ1 在有限宽度、线性化框架下，神经正切核对给定目标函数 f 的逼近速率是多少？
• RQ2 为实现通用逼近，初始权重的扰动量如何随网络宽度 m 和期望精度 eps 变化？
• RQ3 NTK 框架中的逼近误差能否达到浅层网络已知的速率？若能，其条件是什么？
• RQ4 初始权重的传输映射在实现高概率通用逼近中起到什么作用？
• RQ5 NTK 框架中的通用逼近是否依赖于线性化核之外的非线性动力学，还是其本身即为 NTK 的内在特性？

主要发现

• 有限宽度 NTK 以高概率对目标函数 f 和对应浅层网络的逼近误差为 (sqrt(eps) + B/sqrt(eps * m))^2。
• 当 f 具有良好性质（如优良的傅里叶变换或有界 RKHS 范数）时，常数 B 可与 eps 无关。
• 在最坏情况下，B 的量级约为 1/eps^d（对一般连续函数），反映了目标函数的复杂度。
• 该方法提供了对 NTK 缩放的新解释：通过重采样产生的权重冗余，使得权重可被缩小而不会损失表征能力。
• 逼近速率与已知的浅层网络速率一致，表明 NTK 框架中的通用逼近不依赖于线性化核之外的非线性行为。
• 该工作证实，通用逼近是 NTK 框架的内在属性，无需依赖线性化框架之外的动力学。