[论文解读] Ridges, Neural Networks, and the Radon Transform

Michaël Unser|arXiv (Cornell University)|Mar 4, 2022

Medical Imaging Techniques and Applications被引用 6

一句话总结

本文建立了一个严格的数学框架，将神经网络中的脊线与Radon变换联系起来，证明了在特定Banach子空间上反投影算子的可逆性，并刻画了Radon域中的采样泛函。通过将脊线函数推广至分布型轮廓，该形式化方法简化并澄清了在Radon域正则化下ReLU网络的最优性证明。

ABSTRACT

A ridge is a function that is characterized by a one-dimensional profile (activation) and a multidimensional direction vector. Ridges appear in the theory of neural networks as functional descriptors of the effect of a neuron, with the direction vector being encoded in the linear weights. In this paper, we investigate properties of the Radon transform in relation to ridges and to the characterization of neural networks. We introduce a broad category of hyper-spherical Banach subspaces (including the relevant subspace of measures) over which the back-projection operator is invertible. We also give conditions under which the back-projection operator is extendable to the full parent space with its null space being identifiable as a Banach complement. Starting from first principles, we then characterize the sampling functionals that are in the range of the filtered Radon transform. Next, we extend the definition of ridges for any distributional profile and determine their (filtered) Radon transform in full generality. Finally, we apply our formalism to clarify and simplify some of the results and proofs on the optimality of ReLU networks that have appeared in the literature.

研究动机与目标

• 为了形式化神经网络中脊线函数与Radon变换之间的联系，特别是在无限宽网络和基于测度的参数化背景下。
• 为了识别在Banach测度空间及相关函数空间中，反投影算子（伴随Radon变换）可逆或具有可识别零空间的条件。
• 为了刻画位于滤波Radon变换值域中的采样泛函，从而实现神经网络学习的变分公式化。
• 为了将脊线的定义推广至包含分布型轮廓的情形，并在一般性下推导其滤波Radon变换。
• 为了利用所提出的Radon域正则化框架重新推导并简化现有ReLU网络最优性结果。

提出的方法

• 引入一类超球面Banach子空间（包括测度）的类，其中反投影算子在适当拓扑与代数条件下可逆，利用直和拓扑与投影算子。
• 建立反投影算子可延拓至全父空间且其零空间为Banach补空间的条件。
• 通过Radon变换的分布型扩展定义广义脊线，其具有分布型轮廓，从而实现对非光滑激活函数的分析。
• 通过将Radon变换与沿径向变量的卷积算子复合，推导广义脊线的滤波Radon变换。
• 将理论应用于Radon域正则化，表明在Radon域中最小化总变差范数可得到对应于有限宽度ReLU网络的稀疏解。
• 在对偶空间中运用极点理论，刻画Radon域优化问题的最小化子，将其与参数空间中的Dirac质量联系起来。

实验结果

研究问题

• RQ1 在何种条件下，反投影算子在测度及相关函数空间的Banach子空间上可逆？
• RQ2 哪些采样泛函位于滤波Radon变换的值域中，以及如何从抽象与构造性角度刻画它们？
• RQ3 如何将脊线的概念推广至包含分布型轮廓的情形，其对应的Radon变换为何？
• RQ4 Radon域正则化与ReLU网络最优性之间有何联系，特别是在稀疏性与逼近性方面？
• RQ5 能否利用所提出的Radon变换形式化方法，简化并澄清现有ReLU网络最优性证明？

主要发现

• 在适当的拓扑与代数条件下，反投影算子在一大类超球面Banach子空间（包括测度空间）上可逆。
• 扩展反投影算子的零空间被识别为Banach补空间，确保了在全父空间中逆问题的适定性。
• Radon域中的采样泛函被刻画为可表示为滤波Radon变换的取值，且提供了显式的构造性描述。
• 广义脊线（具有分布型轮廓）被定义，其滤波Radon变换在一般性下被推导，扩展了经典ridgelet理论。
• 本文提供了在Radon域总变差正则化下ReLU网络最优性的简化且统一的证明，表明最小化子为稀疏解，且对应于有限宽度网络。
• 在空间 $\mathbb{R} \times \mathbb{S}^{d-1}$ 上连续函数空间的对偶单位球的极点被证明为带符号的Dirac质量，这为最优解的稀疏性提供了理论基础。