[论文解读] STEER: Simple Temporal Regularization For Neural ODEs

Arnab Ghosh, Harkirat Behl+3 more|arXiv (Cornell University)|Jun 18, 2020

Model Reduction and Neural Networks参考文献 57被引用 16

一句话总结

本文提出 STEER，一种针对神经ODE的简单时间正则化技术，通过在训练过程中随机扰动积分终点时间来实现。通过简化ODE动力学，STEER在归一化流、时间序列和图像识别任务中均减少了训练时间与函数评估次数，且与现有正则化方法正交，同时提升了刚性ODE的性能。

ABSTRACT

Training Neural Ordinary Differential Equations (ODEs) is often computationally expensive. Indeed, computing the forward pass of such models involves solving an ODE which can become arbitrarily complex during training. Recent works have shown that regularizing the dynamics of the ODE can partially alleviate this. In this paper we propose a new regularization technique: randomly sampling the end time of the ODE during training. The proposed regularization is simple to implement, has negligible overhead and is effective across a wide variety of tasks. Further, the technique is orthogonal to several other methods proposed to regularize the dynamics of ODEs and as such can be used in conjunction with them. We show through experiments on normalizing flows, time series models and image recognition that the proposed regularization can significantly decrease training time and even improve performance over baseline models.

研究动机与目标

• 为解决训练神经ODE时计算成本过高的问题，其根源在于优化过程中函数评估次数的增加。
• 通过简化神经ODE的动力学，减少函数评估次数，从而加速训练过程。
• 开发一种计算轻量且与现有技术兼容的正则化方法。
• 提升泛化能力与鲁棒性，特别是在刚性ODE和非均匀采样时间序列等挑战性场景中。
• 证明随机终点时间扰动可实现更稳定、更高效的训练，且无需修改网络架构。

提出的方法

• 在训练过程中，ODE积分的终点时间 $ t_1 $ 被随机扰动为 $ t_1 \pm \theta $，其中 $ \theta $ 是从均匀分布中抽取的随机变量。
• 该扰动针对每个训练批次独立应用，从而在时间积分范围内引入随机性。
• 该方法仅需极少代码修改，仅需在ODE求解器中修改积分区间即可实现。
• 该正则化方法与现有方法（如增强神经ODE和基于最优传输的正则化）正交。
• 该方法不改变模型架构或损失函数，仅通过时间扰动来鼓励更简单动力学。
• 该技术在前向与反向传播中均应用，梯度通过与标准神经ODE相同的伴随方法计算。

实验结果

研究问题

• RQ1 随机扰动ODE积分终点时间是否能导致神经ODE中出现更简单、更稳定的动力学？
• RQ2 这种时间正则化是否能减少训练与推理过程中的函数评估次数？
• RQ3 STEER能否在连续归一化流和非均匀采样时间序列等挑战性任务中提升性能？
• RQ4 在标准求解器难以处理的刚性ODE上，STEER表现如何？
• RQ5 该方法是否与现有神经ODE正则化技术兼容且具有互补性？

主要发现

• STEER在多个任务（包括归一化流和时间序列建模）中显著减少了训练时间与函数评估次数。
• 在非均匀采样时间序列基准测试中，STEER生成的轨迹更符合真实信号的定性行为，尤其在周期分量中加入线性趋势（$ t $）时表现更优。
• 在图像识别与归一化流任务中，STEER的性能优于或等同于未正则化的模型，且收敛速度更快。
• 在刚性ODE上，STEER表现出更优性能，而标准神经ODE难以学习到稳定动力学。
• 该正则化方法与现有方法（如增强神经ODE和基于最优传输的正则化）正交，结合使用可进一步提升性能。
• 实证结果表明，使用STEER训练的模型学习到了更简单的流，通过向量场对比可视化可清晰看出，从而实现更快、更稳定的训练。