[论文解读] Stochasticity in Neural ODEs: An Empirical Study

V. V. Oganesyan, Alexandra Volokhova+1 more|arXiv (Cornell University)|Feb 22, 2020

Model Reduction and Neural Networks参考文献 15被引用 7

一句话总结

本文通过将神经ODE扩展为使用随机微分方程的神经SDE，实证研究了神经ODE中的随机正则化。研究发现，尽管在无数据增强的情况下随机性可提升泛化性能，但仅使用数据增强即可达到相当的性能水平，表明在图像分类任务中随机正则化无效。

ABSTRACT

Stochastic regularization of neural networks (e.g. dropout) is a wide-spread technique in deep learning that allows for better generalization. Despite its success, continuous-time models, such as neural ordinary differential equation (ODE), usually rely on a completely deterministic feed-forward operation. This work provides an empirical study of stochastically regularized neural ODE on several image-classification tasks (CIFAR-10, CIFAR-100, TinyImageNet). Building upon the formalism of stochastic differential equations (SDEs), we demonstrate that neural SDE is able to outperform its deterministic counterpart. Further, we show that data augmentation during the training improves the performance of both deterministic and stochastic versions of the same model. However, the improvements obtained by the data augmentation completely eliminate the empirical gains of the stochastic regularization, making the difference in the performance of neural ODE and neural SDE negligible.

研究动机与目标

• 研究通过神经SDE实现的随机正则化是否能提升连续时间深度学习模型的泛化性能。
• 比较确定性神经ODE与随机神经SDE在图像分类基准上的性能表现。
• 评估在神经ODE与SDE背景下，数据增强对确定性与随机模型的影响。
• 考察批归一化在神经ODE中的作用及其对训练稳定性和性能的影响。
• 评估神经SDE中确定性轨迹在测试时作为期望预测的可靠估计器是否成立。

提出的方法

• 通过在ODE动态中引入扩散项，将神经ODE形式化为随机微分方程（SDE）。
• 在训练和推理过程中均使用Euler–Maruyama方法对SDE进行数值积分。
• 在推理阶段通过多次随机轨迹的蒙特卡洛平均来估计期望预测。
• 在CIFAR-10、CIFAR-100和TinyImageNet上训练和评估模型，对比有无数据增强的情况。
• 在相同架构和正则化条件下，比较ResNet、神经ODE与神经SDE的模型性能。
• 通过将确定性推理结果与随机轨迹上的期望预测进行比较，评估神经SDE在测试时的偏差。

实验结果

研究问题

• RQ1 通过神经SDE实现的随机正则化是否能在图像分类任务中提升相对于确定性神经ODE的泛化性能？
• RQ2 数据增强在多大程度上能缓解或消除神经ODE中随机正则化的性能增益？
• RQ3 在神经ODE的动态函数中引入批归一化如何影响训练和推理性能？
• RQ4 神经SDE中的确定性轨迹是否是随机轨迹上期望预测的可靠估计器？
• RQ5 在数据增强受限或不可行的场景下，神经SDE能否优于ResNet和神经ODE？

主要发现

• 当不使用数据增强时，神经SDE在泛化性能上优于确定性神经ODE。
• 仅使用数据增强即可达到与随机正则化相当的性能水平，表明在标准图像分类设置中，额外的随机性无效。
• 当使用数据增强时，神经ODE与神经SDE之间的性能差距可忽略不计，表明数据增强已涵盖随机性的正则化效果。
• 神经SDE在测试时的确定性推理导致对期望预测的有偏估计，性能显著下降，尤其在使用数据增强的TinyImageNet上表现明显。
• 在神经ODE的动态函数中加入批归一化通常导致性能劣于不加入的情况，表明积分过程可能存在潜在不稳定性。
• ResNet在某些情况下优于神经ODE，表明更精确的积分并不一定提升模型的表达能力或性能。