[论文解读] The Kolmogorov Superposition Theorem can Break the Curse of Dimensionality When Approximating High Dimensional Functions

Ming‐Jun Lai, Zhaiming Shen|arXiv (Cornell University)|Dec 18, 2021

Statistical and numerical algorithms被引用 11

一句话总结

本文证明，Kolmogorov 超叠加定理（KST）可利用 ReLU 神经网络和 LKB 样条实现高维连续函数的维度无关逼近，通过仅使用 O(nd) 个关键数据点，打破维度灾难，实现 O(n⁻¹) 的逼近速率。该方法采用矩阵交叉近似选择稀疏且高效的点集，从而在高维空间中实现高效且精确的函数逼近。

ABSTRACT

We explain how to use Kolmogorov Superposition Theorem (KST) to break the curse of dimensionality when approximating a dense class of multivariate continuous functions. We first show that there is a class of functions called Kolmogorov-Lipschitz (KL) continuous in $C([0,1]^d)$ which can be approximated by a special ReLU neural network of two hidden layers with a dimension independent approximation rate $O(1/n)$ with approximation constant increasing quadratically in $d$. The number of parameters used in such neural network approximation equals to $(6d+2)n$. Next we introduce KB-splines by using linear B-splines to replace the outer function and smooth the KB-splines to have the so-called LKB-splines as the basis for approximation. Our numerical evidence shows that the curse of dimensionality is broken in the following sense: When using the standard discrete least squares (DLS) method to approximate a continuous function, there exists a pivotal set of points in $[0,1]^d$ with size at most $O(nd)$ such that the rooted mean squares error (RMSE) from the DLS based on the pivotal set is similar to the RMSE of the DLS based on the original set with size $O(n^d)$. The pivotal point set is chosen by using matrix cross approximation technique and the number of LKB-splines used for approximation is the same as the size of the pivotal data set. Therefore, we do not need too many basis functions nor too many function values to approximate a high dimensional continuous function $f$. Hence, the study in this paper provides an approach for dimension reduction problems.

研究动机与目标

• 为克服高维连续函数逼近中的维度灾难。
• 利用 Kolmogorov 超叠加定理（KST）构建维度无关的逼近方案。
• 通过 LKB 样条和关键点选择，开发一种稀疏且高效的基函数，用于高维函数逼近。
• 证明使用少量关键点的离散最小二乘逼近可达到与全网格方法相当的精度。
• 为基于 KST 和矩阵交叉近似的高维函数逼近，提供一种数值稳定且可扩展的框架。

提出的方法

• 基于 KST 构建一种特殊的两隐藏层 ReLU 神经网络，用于逼近 K-Lipschitz 连续函数，逼近误差率为 O(n⁻¹)。
• 通过将 KST 中的外层函数替换为线性 B 样条，提出 KB 样条，再将其平滑为 LKB 样条，以获得更优的逼近效果。
• 应用矩阵交叉近似（如 maxvol 算法）识别大小为 O(nd) 的关键点集，以捕获全网格的必要信息。
• 在关键点集上使用离散最小二乘法（DLS）高效求解逼近问题，其解与全网格 DLS 解高度一致。
• 将关键点集同时用作采样位置和基函数支撑，减少所需基函数数量和函数求值次数。
• 证明关键点集与目标函数无关，仅依赖于 LKB 样条构造中的划分、采样和光滑参数。

实验结果

研究问题

• RQ1 Kolmogorov 超叠加定理能否用于打破高维函数逼近中的维度灾难？
• RQ2 使用 LKB 样条和稀疏关键点集能否实现与全网格方法相当的逼近精度？
• RQ3 矩阵交叉近似能否识别出在高维空间中保持逼近质量的最小关键点集？
• RQ4 使用基于 KST 的 LKB 样条时，逼近速率是否与维度无关？
• RQ5 逼近误差收敛斜率与目标函数的光滑性类之间存在何种关系？

主要发现

• 使用该方法逼近 K-Lipschitz 连续函数时，逼近误差以与维度无关的速率 O(n⁻¹) 衰减，常数随 d 的平方增长。
• ReLU 网络中的参数数量为 (6d+2)n，随维度 d 和样本数 n 线性增长。
• 使用大小为 O(nd) 的关键点集进行离散最小二乘逼近，其均方根误差与使用 O(n^d) 个点的全网格 DLS 方法相当。
• 关键点数量随 n 线性增加，斜率最大为 d，证实了该方法在高维空间中的可扩展性。
• 数值结果表明，在对数-对数图中收敛斜率 < -1 的函数属于 K-Lipschitz 类，而斜率在 -1 到 0 之间的函数表现为 K-Hölder 连续性。
• 该方法仅使用关键点集即可成功逼近超过 100 个 2D 和 3D 测试函数，结果可通过公开共享的 MATLAB 代码复现。