[论文解读] Neural network integral representations with the ReLU activation function

Armenak Petrosyan, Anton Dereventsov+1 more|arXiv (Cornell University)|Oct 7, 2019

Neural Networks and Applications被引用 12

一句话总结

本文通过利用球坐标参数化 d 维单位球面，建立了一种基于 ReLU 激活函数的神经网络积分表示。它推导出球面上的曲面积分向适用于 ReLU 神经网络近似的格式的变换，证明了任何在球面上的连续函数均可通过适当参数化的 ReLU 神经元积分表示，从而为使用 ReLU 网络实现通用近似提供了理论基础。

ABSTRACT

In this effort, we derive a formula for the integral representation of a shallow neural network with the ReLU activation function. We assume that the outer weighs admit a finite $L_1$-norm with respect to Lebesgue measure on the sphere. For univariate target functions we further provide a closed-form formula for all possible representations. Additionally, in this case our formula allows one to explicitly solve the least $L_1$-norm neural network representation for a given function.

研究动机与目标

• 建立在单位球面上使用 ReLU 神经网络表示连续函数的数学框架。
• 通过球坐标推导变量变换，将球面参数化为可由 ReLU 激活的参数形式。
• 证明在球面上对 ReLU 神经元的积分可表示任意连续函数，从而实现通用近似。
• 通过几何测度论，形式化球谐函数与 ReLU 网络表示之间的联系。

提出的方法

• 使用角度 ϕ₁ 到 ϕ_d 的球坐标参数化单位球面 S^d，映射至变量 a 和 b。
• 将面积测度 dν_d(a,b) 表示为 sin^{d-1}ϕ₁ sin^{d-2}ϕ₂ … sinϕ_{d-1} dϕ₁…dϕ_{d-1} 的形式。
• 将积分 ∫_{S^d} F(a,b) dν_d(a,b) 转化为对 ϕ₁ 到 ϕ_{d-1} 和 ϕ_d 的迭代积分。
• 引入 α = (α₁,…,α_d) ∈ S^{d-1}，使得对 i < d 有 a_i = sinϕ₁…sinϕ_{i-1} sinϕ_i cosϕ_i，且 a_d = sinϕ₁…sinϕ_{d-1} sinϕ_d。
• 利用恒等式 b = cosϕ₁ 且 a_i 与 sinϕ₁ α_i 成比例，将函数 F 表示为 ϕ₁ 和 α 的函数。
• 通过将球坐标变换代入曲面积分，推导出积分表示。

实验结果

研究问题

• RQ1 能否将单位球面 S^d 上的连续函数表示为 ReLU 神经元的积分？
• RQ2 何种适当的球面参数化可实现此类表示？
• RQ3 在高维空间中，曲面积分的测度如何通过球坐标变换？
• RQ4 ReLU 激活函数在通过积分表示实现通用近似的过程中起到何种作用？

主要发现

• 本文建立了在单位球面 S^d 上使用 ReLU 神经网络对连续函数进行严格积分表示的理论框架。
• 通过球坐标变换，可将曲面积分化为关于角度变量的迭代积分形式。
• 球面上的面积元素表示为 sin^{d-1}ϕ₁ sin^{d-2}ϕ₂ … sinϕ_{d-1} dϕ₁…dϕ_{d-1}，这对测度变换至关重要。
• 参数化 a_i = sinϕ₁…sinϕ_{i-1} sinϕ_i cosϕ_i 与 b = cosϕ₁ 的设定，使得可在球面上构建基于 ReLU 的神经元。