[论文解读] Reproducing Activation Function for Deep Learning

Senwei Liang, Liyao Lyu+2 more|arXiv (Cornell University)|Jan 13, 2021

Advanced Neural Network Applications参考文献 75被引用 10

一句话总结

本文提出了重现激活函数（RAFs），一种数据驱动的、神经元级的激活机制，通过可学习的基本函数线性组合（如多项式、正弦函数、高斯函数）来提升深度学习的准确性。通过使神经网络能够有效重现傅里叶和小波基等传统逼近工具，RAFs 降低了谱偏差，改善了神经正切核（NTK）的条件数，并在求解偏微分方程（PDEs）和特征值问题方面相比基线模型将误差降低高达 99%。

ABSTRACT

We propose reproducing activation functions (RAFs) to improve deep learning accuracy for various applications ranging from computer vision to scientific computing. The idea is to employ several basic functions and their learnable linear combination to construct neuron-wise data-driven activation functions for each neuron. Armed with RAFs, neural networks (NNs) can reproduce traditional approximation tools and, therefore, approximate target functions with a smaller number of parameters than traditional NNs. In NN training, RAFs can generate neural tangent kernels (NTKs) with a better condition number than traditional activation functions lessening the spectral bias of deep learning. As demonstrated by extensive numerical tests, the proposed RAFs can facilitate the convergence of deep learning optimization for a solution with higher accuracy than existing deep learning solvers for audio/image/video reconstruction, PDEs, and eigenvalue problems. With RAFs, the errors of audio/video reconstruction, PDEs, and eigenvalue problems are decreased by over 14%, 73%, 99%, respectively, compared with baseline, while the performance of image reconstruction increases by 58%.

研究动机与目标

• 为解决深度学习中的谱偏差问题，即模型倾向于选择低频解，难以处理振荡或奇异函数。
• 提升深度学习在图像/视频重建、PDE求解和特征值计算等任务中的逼近精度。
• 开发一种可自适应重现经典逼近工具（如多项式、傅里叶基、小波）的激活函数，并实现指数收敛速率。
• 降低神经正切核（NTK）的条件数，从而加速优化过程并改善泛化性能。
• 通过将先验知识嵌入激活函数结构，实现更少参数下的更高效、更准确的神经网络训练。

提出的方法

• 提出 RAFs 作为基本函数（如 x, x², sin(x), exp(-x²)）的可学习、神经元级线性组合，形成数据驱动的激活函数。
• 设计网络结构，使每个神经元可使用不同的激活函数，从而灵活逼近复杂目标函数。
• 理论分析表明，RAFs 可通过模拟经典逼近系统，实现与维度无关的指数逼近速率。
• 将 RAFs 集成到带边界条件强制的残差网络中，用于 PDE 求解器，确保物理一致性。
• 使用 Adam 优化器配合学习率衰减，并通过相对 L² 测试误差和 NTK 条件数评估性能。
• 固定基本函数的缩放参数（如高斯函数取 0.1），以增强 NTK 中的振荡响应，提升高频问题上的性能。

实验结果

研究问题

• RQ1 可学习的、神经元级的激活函数是否能在图像重建和 PDE 求解等多样化任务中提升深度学习的准确性？
• RQ2 RAFs 是否能有效在神经网络中重现经典逼近系统（如正交多项式、傅里叶基、小波）？
• RQ3 使用 RAFs 是否能获得更良态的神经正切核（NTK），从而降低优化过程中的谱偏差？
• RQ4 与标准激活函数相比，RAFs 在高维和非线性 PDE 中能将逼近误差降低多少？
• RQ5 RAFs 是否能实现与输入维度无关的指数逼近速率，尤其在振荡或奇异解情况下？

主要发现

• 在音频和视频任务中，RAFs 将重建误差降低了超过 14%；在图像重建任务中，误差降低了 58%。
• 在 PDE 问题中，RAFs 相比标准深度学习求解器将误差降低了 73%。
• 在特征值问题中，RAFs 相比传统方法将误差降低了高达 99%。
• 与传统激活函数相比，RAFs 显著降低了神经正切核（NTK）的条件数，表明优化稳定性得到改善。
• 通过模拟傅里叶基和小波基等经典逼近系统，RAFs 实现了指数级、与维度无关的逼近速率。
• 实验结果表明，RAFs 中的缩放参数（如高斯函数取 0.1）可增强 NTK 中的振荡响应，从而在高频问题上取得更优性能。