[论文解读] On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem

Juncai He|arXiv (Cornell University)|Aug 10, 2023

Neural Networks and Applications被引用 4

一句话总结

该论文证明了具有 $L$ 个隐藏层和每层 $N$ 个神经元的 ReLU 深度神经网络（DNN）可以精确表示 $[0,1]$ 上任意连续分段线性（CPwL）函数，且分段数为 $\mathcal{O}(N^2L)$，并证明该构造在参数数量上是最优的。通过利用柯尔莫哥洛夫叠加定理（Kolmogorov Superposition Theorem），该研究进一步实现了在高维空间中对连续函数的 $\mathcal{O}(P^{-1})$ 改进逼近率，其中 ReLU DNN 的参数量为 $\mathcal{O}(P)$。

ABSTRACT

This paper is devoted to studying the optimal expressive power of ReLU deep neural networks (DNNs) and its application in approximation via the Kolmogorov Superposition Theorem. We first constructively prove that any continuous piecewise linear functions on $[0,1]$, comprising $O(N^2L)$ segments, can be represented by ReLU DNNs with $L$ hidden layers and $N$ neurons per layer. Subsequently, we demonstrate that this construction is optimal regarding the parameter count of the DNNs, achieved through investigating the shattering capacity of ReLU DNNs. Moreover, by invoking the Kolmogorov Superposition Theorem, we achieve an enhanced approximation rate for ReLU DNNs of arbitrary width and depth when dealing with continuous functions in high-dimensional spaces.

研究动机与目标

• 确定具有 $L$ 个隐藏层和每层 $N$ 个神经元的 ReLU DNN 是否可以在 $[0,1]$ 上以 $\mathcal{O}(N^2L)$ 个分段精确表示任意 CPwL 函数。
• 证明该表示在所需参数数量上的最优性。
• 应用柯尔莫哥洛夫叠加定理，提升 ReLU DNN 在高维空间中对连续函数的逼近率。
• 建立 ReLU DNN 表达能力与通过 KST 定义的 K-Lipschitz 连续函数类之间的联系。

提出的方法

• 构建一种对称的 ReLU DNN 架构，包含两层隐藏层和每层 $\mathcal{O}(N)$ 个神经元，以在 $[0,1]$ 上精确表示具有 $N^2$ 个分段的 CPwL 函数。
• 通过将两层对称设计推广至 $L$ 层网络，将构造扩展至任意深度 $L$，每层包含 $N$ 个神经元。
• 通过分析 ReLU DNN 的打碎能力，证明 $\mathcal{O}(N^2L)$ 个分段是实现此类表示所需的最小参数量，从而确立最优性。
• 应用柯尔莫哥洛夫叠加定理，将多变量连续函数分解为单变量函数的复合形式，从而实现高维逼近。
• 利用 ReLU DNN 近似 K-inner 和 K-outer 函数，通过连续模和 Lipschitz 连续性推导误差界。
• 推导出 K-Lipschitz 类 $K_C$ 中函数的逼近误差界为 $\mathcal{O}(P^{-1})$，其中 $P$ 为总参数数。

实验结果

研究问题

• RQ1 具有 $L$ 个隐藏层和每层 $N$ 个神经元的 ReLU DNN 是否可以在 $[0,1]$ 上以 $\mathcal{O}(N^2L)$ 个分段精确表示任意 CPwL 函数？
• RQ2 该参数数量是否为表示此类 CPwL 函数的最优值？
• RQ3 能否利用柯尔莫哥洛夫叠加定理提升 ReLU DNN 在高维连续函数上的逼近率？
• RQ4 当使用具有 $\mathcal{O}(P)$ 参数、任意深度和宽度的 ReLU DNN 时，K-Lipschitz 类 $K_C$ 中函数的逼近误差率是多少？

主要发现

• 具有 $L$ 个隐藏层和每层 $N$ 个神经元的 ReLU DNN 可以在 $[0,1]$ 上以 $\mathcal{O}(N^2L)$ 个分段精确表示任意 CPwL 函数。
• 该构造在参数数量上是最优的，通过分析 ReLU DNN 的打碎能力得以证明。
• K-Lipschitz 类 $K_C$ 中函数的逼近误差被限制在 $\mathcal{O}(P^{-1})$，其中 $P$ 为总参数数。
• 误差界表示为 $(6d+3)\omega_g(C_d N^{-2}L^{-1})$，其中 $C_d = d\log_{10}2$，明确体现了对深度 $L$ 和宽度 $N$ 的依赖性。
• 该结果的逼近速率优于先前工作，后者在两隐藏层网络中仅达到 $\mathcal{O}(P^{-1/2})$。
• 该构造简化了先前关于 ReLU DNN 表达能力研究的证明，并为高维推广以及基于位提取的逼近方法开辟了新路径。