[论文解读] Spline parameterization of neural network controls for deep learning

Stefanie Günther, Will Pazner+1 more|arXiv (Cornell University)|Feb 27, 2021

Model Reduction and Neural Networks参考文献 21被引用 4

一句话总结

本文提出 SpliNet，一种使用 B-样条基函数而非逐层权重来参数化网络控制的神经 ODE 框架。通过训练样条系数而非特定层的参数，该方法在参数量更少的情况下实现了稳定且精确的前向传播，提升了对超参数的鲁棒性，并可在不增加模型复杂度的前提下实现自适应时间步长。

ABSTRACT

Based on the continuous interpretation of deep learning cast as an optimal control problem, this paper investigates the benefits of employing B-spline basis functions to parameterize neural network controls across the layers. Rather than equipping each layer of a discretized ODE-network with a set of trainable weights, we choose a fixed number of B-spline basis functions whose coefficients are the trainable parameters of the neural network. Decoupling the trainable parameters from the layers of the neural network enables us to investigate and adapt the accuracy of the network propagation separated from the optimization learning problem. We numerically show that the spline-based neural network increases robustness of the learning problem towards hyperparameters due to increased stability and accuracy of the network propagation. Further, training on B-spline coefficients rather than layer weights directly enables a reduction in the number of trainable parameters.

研究动机与目标

• 解决标准残差网络与神经 ODE 网络中存在的不稳定性和对超参数的高敏感性问题。
• 将网络动态的离散化过程与控制函数的参数化过程解耦。
• 通过基于 B-样条的控制参数化方法，提升训练鲁棒性并减少可训练参数数量。
• 在不增加模型复杂度的前提下，实现自适应时间步长与高阶 ODE 求解器。
• 为需要高精度的科学机器学习应用提供更稳定、更精确的框架。

提出的方法

• 使用 B-样条基函数对神经网络控制函数 θ(t) 进行参数化：θ(t) = ΣαₗBₗ^d(t)，其中 αₗ 为可训练系数。
• 将每层的权重 Wi 和偏置 bi 替换为一组固定的样条系数 αₗ，从而实现参数化与层数的解耦。
• 使用时间离散化的 ODE 求解器（例如前向欧拉法）在时间点 tᵢ 处传播状态 x(t)，且该过程独立于特定层的参数。
• 通过优化样条系数 αₗ 来训练网络，以最小化损失 ℓ(x(T), y_data) + γ∫₀ᵀR(θ(t))dt。
• 利用 B-样条的分层结构与局部紧支集特性，为未来集成多网格或多级训练策略提供可能。
• 通过在任意时间点评估基于样条的控制，实现在不重新训练的前提下实现自适应时间步长。

实验结果

研究问题

• RQ1 基于 B-样条的神经网络控制参数化是否能提升训练稳定性与对超参数的鲁棒性？
• RQ2 通过样条基函数减少可训练参数数量，是否能保持或提升模型精度？
• RQ3 基于样条的网络能否在参数更少的情况下，实现与标准 ResNet 和 ODE-net 架构相当或更优的性能？
• RQ4 B-样条阶数的选择如何影响学习到的控制函数的性能与平滑性？
• RQ5 基于样条的框架是否能在不增加参数数量的前提下，支持自适应时间步长与高阶 ODE 求解器？

主要发现

• 基于样条的网络（SpliNet）在 MNIST 上实现了 98.8% 的准确率，其平均值与中位数准确率均优于标准 ResNet 与 ODE-net，且标准差更低。
• 在学习 10sin(3x) 时，SpliNet 即使在固定时间尺度 λ=3 的条件下仍保持高精度，而标准网络则因预测上限受限而表现下降。
• 使用一阶 B-样条（帽子函数）时，网络以远少于标准 ODE 或 ResNet 网络的可训练参数量，实现了稳定训练与高性能。
• 该方法对网络深度、学习率与初始化的敏感性显著降低，表明其对超参数选择具有更强鲁棒性。
• 可训练参数数量与时间步长或网络深度无关，因此可在不增加模型复杂度的前提下，实现高分辨率下的稳定前向传播。
• 该框架天然支持自适应时间步长与高阶 ODE 求解器，因为样条控制在整个时间区间上定义，且可任意点评估。