[论文解读] Time Dependence in Non-Autonomous Neural ODEs

Jared Quincy Davis, Krzysztof Choromański+7 more|arXiv (Cornell University)|May 5, 2020

Model Reduction and Neural Networks被引用 7

一句话总结

该论文提出了非自洽神经ODE（NANODEs），其中模型权重通过可学习的光滑函数显式依赖于时间，从而实现轨迹交叉和通用近似。通过使用三角函数或分段多项式基函数对时变权重进行参数化，该方法在表达能力与内存效率之间取得优越平衡，在CIFAR-100和视频预测任务上优于ResNets与CNNs，同时通过伴随方法保持恒定内存消耗。

ABSTRACT

Neural Ordinary Differential Equations (ODEs) are elegant reinterpretations of deep networks where continuous time can replace the discrete notion of depth, ODE solvers perform forward propagation, and the adjoint method enables efficient, constant memory backpropagation. Neural ODEs are universal approximators only when they are non-autonomous, that is, the dynamics depends explicitly on time. We propose a novel family of Neural ODEs with time-varying weights, where time-dependence is non-parametric, and the smoothness of weight trajectories can be explicitly controlled to allow a tradeoff between expressiveness and efficiency. Using this enhanced expressiveness, we outperform previous Neural ODE variants in both speed and representational capacity, ultimately outperforming standard ResNet and CNN models on select image classification and video prediction tasks.

研究动机与目标

• 解决自洽神经ODE的表征局限性，后者因轨迹不可交叉而无法建模非单射或非可逆映射。
• 通过在权重矩阵中引入显式非参数化时间依赖性，实现神经ODE的通用近似。
• 设计一种内存高效的架构，在反向传播过程中保持恒定内存成本，同时表达能力优于标准ResNets与CNNs。
• 探索非自洽系统稳定训练与紧致流形（特别是正交群）上流之间的联系。
• 在内存受限条件下，展示图像分类与视频预测任务上的最先进性能。

提出的方法

• 提出一类新型神经ODE，其动力学由 $ \dot{x} = f(x, \theta(t; \alpha)) $ 描述，其中权重 $ \theta(t; \alpha) $ 为时间的平滑可学习函数。
• 使用三角函数或分段多项式基函数 $ \phi(t, \theta_{ij}) $ 参数化时变权重，实现对平滑性与表达能力的显式控制。
• 采用伴随方法进行反向传播，确保无论积分深度或时间离散化程度如何，内存消耗恒定。
• 通过伴随敏感度方法实现可逆架构，实现高效训练并最小化激活内存占用。
• 提出一种框架，其中时间依赖性不附加于输入，而是作为具有可学习系数 $ \alpha $ 的时间函数显式建模，从而将时间与输入特征解耦。
• 探索稳定训练与紧致流形（特别是 $ \mathcal{O}(d) $）上流之间的理论联系，以防止梯度爆炸或消失。

实验结果

研究问题

• RQ1 具有时变权重的非自洽神经ODE能否实现通用近似，从而克服自洽系统之局限？
• RQ2 如何参数化神经ODE中的时间依赖性，以在表达能力与计算效率之间取得平衡？
• RQ3 时变权重轨迹的平滑性对模型性能与训练稳定性有何影响？
• RQ4 非自洽神经ODE能否在内存受限设置下优于标准ResNets与CNNs，同时保持恒定内存使用？
• RQ5 非自洽系统稳定训练与紧致流形上几何流之间存在何种理论联系？

主要发现

• 在CIFAR-100图像分类任务中，NANODEs在测试损失方面优于标准ResNet与CNN模型，且准确率相当或更优。
• 在Moving MNIST视频预测任务中，NANODE模型收敛速度更快，且在10小时训练后达到的最终损失低于SVG基线。
• 在Moving MNIST上，NANODE模型实现8.5e-6的测试ELBO，在BAIR Robot Pushing Small数据集上实现7.6e-5，优于SVG与自洽NODE基线。
• 当离散化阶数小于时间步数时，三角函数时间处理方式优于分段常数（Bucket）处理方式，表明平滑性具有优势。
• 尽管理论上具有潜力，实验中基于超网络的时间权重参数化方式并未在性能上超越自洽NODEs。
• NANODE架构在使用显著更多参数（1.9e-2 GB）的同时，保持了与自洽NODEs相当小的激活内存占用（4.7 GB），证明其具有更优的参数效率。