[论文解读] Universal Approximation Property of Neural Ordinary Differential Equations

Takeshi Teshima, Koichi Tojo+3 more|arXiv (Cornell University)|Dec 4, 2020

Model Reduction and Neural Networks参考文献 14被引用 20

一句话总结

本文证明了神经常微分方程（NODEs）的通用逼近性质强于以往所知：它们是大量微分同胚——即光滑、可逆且具有光滑逆映射的映射——的上确界一致逼近器。通过利用微分几何中的结构定理，作者表明，任何此类微分同胚均可通过组合由NODE生成的流终点来逼近，从而在输入域的紧致子集上实现一致逼近，这比$L^p$-通用逼近提供了更强的鲁棒性保证。

ABSTRACT

Neural ordinary differential equations (NODEs) is an invertible neural network architecture promising for its free-form Jacobian and the availability of a tractable Jacobian determinant estimator. Recently, the representation power of NODEs has been partly uncovered: they form an $L^p$-universal approximator for continuous maps under certain conditions. However, the $L^p$-universality may fail to guarantee an approximation for the entire input domain as it may still hold even if the approximator largely differs from the target function on a small region of the input space. To further uncover the potential of NODEs, we show their stronger approximation property, namely the $\sup$-universality for approximating a large class of diffeomorphisms. It is shown by leveraging a structure theorem of the diffeomorphism group, and the result complements the existing literature by establishing a fairly large set of mappings that NODEs can approximate with a stronger guarantee.

研究动机与目标

• 为解决神经ODE中$L^p$-通用逼近的局限性，即可能在小输入区域产生较大误差。
• 为神经ODE在逼近光滑可逆映射时建立更强的逼近保证——上确界一致通用逼近。
• 证明一大类微分同胚可被神经ODE生成的流终点的有限复合一致逼近。
• 为NODE作为具有自由形式雅可比矩阵的可逆神经网络的表征能力提供理论基础。

提出的方法

• 作者利用微分几何中的结构定理，将任一微分同胚分解为有限个流终点的复合——即光滑地形变自恒等映射的微分同胚。
• 他们将NODE定义为通过求解具有Lipschitz向量场的自治常微分方程所生成的流终点，使用初值问题（IVP）算子将初始状态映射到经过时间1后的演化状态。
• 该方法涉及使用NODE逼近复合中的每个独立流终点，利用NODE生成的映射在这些流终点空间中的稠密性。
• 通过组合这些近似后的流终点并应用仿射变换，所得的网络架构（INN$_{\mathcal{H}\text{-NODE}}$）实现了对目标微分同胚的统一（上确界范数）逼近。
• 该证明依赖于算子范数来控制复合过程和仿射层中的误差传播，确保在紧集上的一致收敛。
• 作者表明，ODE流的终时可以重新缩放而不改变可实现的流终点集合，从而保持逼近框架不变。

实验结果

研究问题

• RQ1 神经ODE能否一致逼近一大类微分同胚，而不仅仅是$L^p$-范数下的逼近？
• RQ2 与$L^p$-通用逼近相比，NODE的表征能力在逼近保证方面是否更强？
• RQ3 任一微分同胚是否可表示为神经ODE生成的流终点的有限复合？
• RQ4 NODE的上确界一致通用逼近性在$d \geq 2$和$d = 1$维情况下是否均成立？
• RQ5 范数选择（上确界范数与$L^p$范数）如何影响神经ODE中逼近的鲁棒性？

主要发现

• 神经ODE是大量微分同胚的上确界一致逼近器，意味着它们可在输入域的任意紧致子集上一致逼近任意此类映射。
• 上确界一致通用逼近结果强于$L^p$-通用逼近，因为它保证在整个输入域上误差有界，而不仅仅是平均或积分意义下的有界。
• 该证明依赖于将微分同胚分解为有限个流终点的复合，而每个流终点均可由NODE逼近。
• 通过在复合中选择足够多且调优良好的NODE组件，可使上确界范数下的逼近误差任意小。
• 该结果在$d \geq 2$和$d = 1$时均成立，误差界通过仿射变换的算子范数进行控制。
• 该框架对ODE终时的重新缩放具有鲁棒性，因为可实现的流终点集合在该缩放下保持不变。