[论文解读] The global optimum of shallow neural network is attained by ridgelet transform

Sho Sonoda, Isao Ishikawa+5 more|arXiv (Cornell University)|May 19, 2018

Neural Networks and Applications参考文献 22被引用 5

一句话总结

本文证明了浅层神经网络在任意非线性激活函数下的反向传播训练问题的全局最小值由脊波变换（ridgelet transform）给出。通过将优化问题重新表述为无限维希尔伯特空间中的凸问题，作者利用基于脊波的重构方法，推导出全局最优解的显式解析表达式，建立了神经网络训练与积分变换之间的基本联系。

ABSTRACT

We prove that the global minimum of the backpropagation (BP) training problem of neural networks with an arbitrary nonlinear activation is given by the ridgelet transform. A series of computational experiments show that there exists an interesting similarity between the scatter plot of hidden parameters in a shallow neural network after the BP training and the spectrum of the ridgelet transform. By introducing a continuous model of neural networks, we reduce the training problem to a convex optimization in an infinite dimensional Hilbert space, and obtain the explicit expression of the global optimizer via the ridgelet transform.

研究动机与目标

• 理解浅层神经网络训练中损失景观的全局结构，超越局部最小值。
• 通过将非凸、高维优化问题重新表述为函数空间中的变分问题，解决反向传播中的非凸优化挑战。
• 建立训练问题全局最小化解与脊波变换之间严格的数学联系。
• 利用泛函分析，提供一种参数化无关的全局最优解的显式表达式。
• 通过计算实验验证理论联系，显示训练后网络参数与脊波谱之间的相似性。

提出的方法

• 将反向传播训练问题重新表述为无限维希尔伯特空间中的变分优化问题。
• 通过脊波变换，将神经网络定义为脊波型原子的连续叠加。
• 利用伴随算子和积分算子，将优化问题用脊波变换及其逆变换表示。
• 应用泛函分析工具，包括广义逆（Moore-Penrose逆）和谱分解，求解凸优化问题。
• 将全局最小化解表示为对目标函数的逆脊波变换，其权重由正则化参数决定。
• 通过证明该解等价于Tikhonov正则化反问题，证明其唯一性和最优性。

实验结果

研究问题

• RQ1 浅层神经网络在任意非线性激活函数下的训练问题中，全局最小解的解析形式是什么？
• RQ2 脊波变换如何与参数空间中训练后网络参数的分布相关联？
• RQ3 非凸反向传播问题的全局最优解能否在函数空间中表示为凸优化问题？
• RQ4 该解是否独立于神经网络的参数化方式？泛函分析如何确保这一点？
• RQ5 将训练后参数的散点图与脊波谱联系起来的数学机制是什么？

主要发现

• 浅层神经网络反向传播训练问题的全局最小解，显式地由目标函数的逆脊波变换给出。
• 脊波变换通过将非凸优化问题转化为希尔伯特空间中的凸问题，为非凸优化问题提供了参数化无关的解析解。
• 计算实验表明，训练后网络参数的散点图与目标函数的脊波谱之间具有强烈的视觉和结构相似性。
• 该解具有唯一性和最优性，通过伴随算子和Tikhonov正则化推导得出，确保了稳定性和收敛性。
• 该理论框架适用于任意非线性激活函数，而不仅限于特定或线性激活函数。
• 该结果在数学上建立了神经网络训练与积分变换（尤其是脊波变换）之间的深层等价关系。