[论文解读] Neural Networks, Ridge Splines, and TV Regularization in the Radon Domain.

Rahul Parhi, Robert D. Nowak|arXiv (Cornell University)|Jun 10, 2020

Advanced Numerical Analysis Techniques参考文献 35被引用 5

一句话总结

本文提出了一种变分框架，将单隐藏层神经网络与Radon域中具有类似总变差正则化的连续域反问题联系起来。该文证明了一个表示定理，表明有限宽度的网络可解决此类问题，揭示了其与岭样条（ridge splines）的联系，并通过非Hilbertian Banach空间的公式，解释了权重衰减和路径范数正则化器在泛化性能上的优势。

ABSTRACT

We develop a variational framework to understand the properties of the functions learned by neural networks fit to data. We propose and study of a family of continuous-domain linear inverse problems with total variation-like regularization in the Radon domain subject to data fitting constraints. We derive a representer theorem showing that finite-width, single-hidden layer neural networks are solutions to these inverse problems. We draw on many techniques from variational spline theory and so we propose the notion of a ridge spline, which corresponds to fitting data with a single-hidden layer neural network. The representer theorem is reminiscent of the classical Reproducing Kernel Hilbert space representer theorem, but the neural network problem is set in a non-Hilbertian Banach space. Although the learning problems are posed in the continuous-domain, similar to kernel methods, the problems can be recast as finite-dimensional neural network training problems. These neural network training problems have regularizers which are related to the well-known weight decay and path-norm regularizers. Thus, our result gives insight into functional characteristics of trained neural networks and also into the design neural network regularizers. We also show that these regularizers promote neural network solutions with desirable generalization properties.

研究动机与目标

• 开发一种变分框架，以解释在数据上训练的神经网络的功能特性。
• 制定一个在Radon域中具有类似总变差正则化的连续域线性反问题，受数据拟合约束。
• 建立单隐藏层神经网络与这些反问题解之间的理论联系。
• 引入岭样条的概念，作为神经网络拟合在连续域中的类比。
• 为如权重衰减和路径范数等神经网络正则化器的泛化特性提供洞见。

提出的方法

• 制定一个在Radon域中具有类似总变差正则化的连续域线性反问题，受数据拟合约束。
• 应用变分样条理论的技术，定义一个神经网络解所处的函数空间。
• 引入岭样条的概念，作为单隐藏层神经网络输出函数的连续表示。
• 在非Hilbertian Banach空间中推导出一个表示定理，表明有限宽度网络是该反问题的最优解。
• 将标准神经网络训练重新解释为从连续公式导出的有限维问题。
• 证明所得正则化器与权重衰减和路径范数正则化等价或密切相关。

实验结果

研究问题

• RQ1 如何将单隐藏层神经网络表征为连续域反问题的解？
• RQ2 在Radon域中，总变差正则化在塑造训练后神经网络的函数形式方面起什么作用？
• RQ3 神经网络的表示定理与经典再生核Hilbert空间定理相比，其底层函数空间有何不同？
• RQ4 所推导出的正则化器与已知的权重衰减和路径范数正则化有何关联？
• RQ5 这些正则化器如何促进神经网络解的泛化性能？

主要发现

• 证明了有限宽度的单隐藏层神经网络是Radon域中具有类似总变差正则化的连续域反问题的一类解。
• 所建立的表示定理适用于非Hilbertian Banach空间，将经典RKHS结果推广至神经网络设置。
• 该框架引入了岭样条作为神经网络函数逼近在连续域中的类比，统一了样条理论与神经网络学习。
• 在有限维训练公式中推导出的正则化器被证明与权重衰减和路径范数正则化等价或密切相关。
• 这些正则化器通过Radon域正则化的结构，与神经网络解的改进泛化性能相关联。
• 连续域公式允许对神经网络行为进行理论分析，同时支持实际的有限维训练过程。