[论文解读] Rational neural networks

Nicolas Boullé, Yuji Nakatsukasa+1 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 52被引用 7

一句话总结

该论文提出了有理神经网络——一种使用可训练有理函数作为激活单元的深度学习模型——证明其在逼近光滑函数时，相比ReLU网络可实现指数级更小的深度和更少的参数。理论分析与实验表明，有理神经网络在逼近效率、收敛速度以及PDE求解器和生成对抗网络（GANs）中的性能方面表现更优，原因在于其激活函数具有平滑性、可微性及高度表达性。

ABSTRACT

We consider neural networks with rational activation functions. The choice of the nonlinear activation function in deep learning architectures is crucial and heavily impacts the performance of a neural network. We establish optimal bounds in terms of network complexity and prove that rational neural networks approximate smooth functions more efficiently than ReLU networks with exponentially smaller depth. The flexibility and smoothness of rational activation functions make them an attractive alternative to ReLU, as we demonstrate with numerical experiments.

研究动机与目标

• 为解决ReLU激活函数存在的局限性，如梯度消失和对光滑函数逼近能力差的问题。
• 探索在深度神经网络中使用有理函数作为激活单元的理论与实际优势。
• 证明有理网络可在指数级更小的深度和更少的参数下，达到与ReLU网络相当的逼近精度。
• 开发一种实用、可训练且平滑的激活函数，以提升深度学习模型的优化与泛化能力。

提出的方法

• 论文提出有理神经网络，其中激活函数为形如F(x) = P(x)/Q(x)的低次有理函数，其分子和分母的系数均可学习。
• 建立了理论边界，表明对于给定精度，有理网络逼近光滑函数所需的深度相比ReLU网络呈指数级减少。
• 通过低次有理函数的复合构建高次有理逼近，保持表达能力的同时最小化参数数量。
• 使用标准优化方法（如L-BFGS、Adam）进行网络训练，有理激活函数初始化为近似ReLU以确保训练稳定。
• 实验使用TensorFlow和Keras在全连接和卷积网络中实现有理激活函数，应用于PDE求解器和GANs。
• 有理函数通过最佳逼近ReLU的系数进行初始化，以确保训练稳定性和收敛性提升。

实验结果

研究问题

• RQ1 有理激活函数是否能在光滑函数逼近上优于ReLU网络？
• RQ2 与ReLU网络相比，有理网络在逼近光滑函数时的理论深度与大小复杂度如何？
• RQ3 可训练的有理激活函数如何影响深度学习模型的优化与收敛？
• RQ4 有理网络是否能在PDE求解器和GANs等实际应用中超越基于ReLU的模型？
• RQ5 针对不同深度学习任务，有理激活函数的最佳阶次与类型是什么？

主要发现

• 理论上证明，有理神经网络在逼近光滑函数至给定精度时，所需深度相比ReLU网络呈指数级减少。
• 理论分析表明，对于[0,1]^d上的光滑函数，有理网络以O(ϵ−d/n log(log(1/ϵ)))的网络规模实现逼近误差ϵ。
• 在KdV方程求解器中，使用(3,2)激活函数的有理网络在10,000次L-BFGS迭代后，逼近误差（0.00125）低于ReLU网络（0.05）。
• 在MNIST数据集的GAN中，使用(3,2)激活函数的有理网络在20个周期后验证损失（≈10^3）低于ReLU，且生成样本质量更优。
• 所有测试的有理网络类型（2,2）、(3,2)、(4,3)和(5,4)在PDE与GAN实验中均优于ReLU网络，其中(3,2)在参数数量与精度之间提供了良好平衡。
• 使用平滑、可训练的有理激活函数可实现更快收敛与更优泛化性能，表现为两个基准测试中训练与验证损失均更低。