[论文解读] ResNet After All? Neural ODEs and Their Numerical Solution

Katharina Ott, Prateek Katiyar+2 more|arXiv (Cornell University)|Jul 30, 2020

Model Reduction and Neural Networks参考文献 37被引用 6

一句话总结

本文表明，使用粗粒度数值求解器训练的神经ODE在使用不同求解器进行测试时性能急剧下降，无法准确表示真实的ODE流。为确保有效的ODE解释，作者提出一种自适应步长算法，在训练过程中监控求解器行为，以在不增加过多计算成本的前提下保持数值一致性，该方法在合成数据集和CIFAR-10数据集上均得到验证。

ABSTRACT

A key appeal of the recently proposed Neural Ordinary Differential Equation (ODE) framework is that it seems to provide a continuous-time extension of discrete residual neural networks. As we show herein, though, trained Neural ODE models actually depend on the specific numerical method used during training. If the trained model is supposed to be a flow generated from an ODE, it should be possible to choose another numerical solver with equal or smaller numerical error without loss of performance. We observe that if training relies on a solver with overly coarse discretization, then testing with another solver of equal or smaller numerical error results in a sharp drop in accuracy. In such cases, the combination of vector field and numerical method cannot be interpreted as a flow generated from an ODE, which arguably poses a fatal breakdown of the Neural ODE concept. We observe, however, that there exists a critical step size beyond which the training yields a valid ODE vector field. We propose a method that monitors the behavior of the ODE solver during training to adapt its step size, aiming to ensure a valid ODE without unnecessarily increasing computational cost. We verify this adaptation algorithm on a common bench mark dataset as well as a synthetic dataset.

研究动机与目标

• 探究经过训练的神经ODE模型是否真正代表连续ODE流，还是依赖于特定数值求解器。
• 识别由于数值离散化误差导致神经ODE无法保持ODE特性的情形。
• 开发一种方法，确保模型在推理阶段无论选择何种求解器，均保持有效的ODE流。
• 通过在训练期间动态调整求解器参数，消除对步长进行昂贵网格搜索的需求。
• 使用固定步长和自适应步长求解器，在合成数据集和真实世界数据集（CIFAR-10）上验证该方法的有效性。

提出的方法

• 提出一种步长自适应算法，在训练过程中监测ODE求解器的数值误差行为，以检测求解器是否过于粗糙。
• 以Picard-Lindelöf定理作为理论基础：若相空间中的轨迹发生交叉，则解不可能是真正的ODE流。
• 定义一个临界步长，超过该值时模型能保持ODE一致性；通过自适应调整步长，确保始终高于此阈值。
• 在训练过程中应用该自适应算法，防止模型依赖于特定求解器配置，从而确保数值稳定性和一致性。
• 使用固定步长和自适应步长求解器（如Dormand-Prince）验证该方法在不同数值积分方案下的适用性。
• 在训练过程中监控全局数值误差，并调整步长以在准确性和计算成本之间取得平衡。

实验结果

研究问题

• RQ1 训练后的神经ODE性能是否依赖于推理阶段使用的具体数值求解器？
• RQ2 在何种条件下，神经ODE会因数值离散化误差而无法表示真正的ODE流？
• RQ3 在训练阶段采用自适应步长策略，能否确保模型在任意求解器选择下仍保持有效的ODE流？
• RQ4 数值全局误差中的偏差如何影响模型的泛化能力和鲁棒性？
• RQ5 所提出的自适应算法能否替代昂贵的最优步长网格搜索，同时保持或提升性能？

主要发现

• 使用大步长训练的神经ODE在相空间中表现出轨迹交叉现象，违反了Picard-Lindelöf定理所保证的唯一性，表明其无法表示真正的ODE流。
• 当训练使用粗粒度求解器时，若在测试中使用数值误差相等或更小的求解器，模型准确率出现急剧下降，证实了对求解器的依赖性。
• 存在一个临界步长，超过该值时模型能保持ODE一致性；低于此阈值时，模型将依赖于训练阶段所用的具体求解器。
• 所提出的步长自适应算法在2D同心球体数据集上实现了98.9% ± 0.6%的准确率，仅需100.5 NFE，优于网格搜索方法（98.7% ± 1.0% 在65–129 NFE之间）。
• 在CIFAR-10数据集上，该方法实现了55.0% ± 0.8%的准确率，仅需21.9 NFE，略优于网格搜索基线（54.7% ± 0.3% 在17–33 NFE之间）。
• 自适应算法成功避免了切换求解器时出现的性能下降，证实了模型在不同数值积分方案下仍保持有效的ODE流。