[论文解读] The differential calculus of causal functions

David Sprunger, Bart Jacobs|arXiv (Cornell University)|Apr 24, 2019

Neural Networks and Applications参考文献 10被引用 3

一句话总结

本文通过定义一种独特的无限维导数，避免使用赋范向量空间，提出了一种用于因果函数的新型微分学——因果函数是指以时间有序、无记忆方式将无限序列映射到无限序列的函数。其核心贡献是提出了一种递推规则，实现了对Elman网络等循环神经网络的精确、组合式微分，并通过手工计算和基于梯度的训练验证了其局部近似的准确性。

ABSTRACT

Causal functions of sequences occur throughout computer science, from theory to hardware to machine learning. Mealy machines, synchronous digital circuits, signal flow graphs, and recurrent neural networks all have behaviour that can be described by causal functions. In this work, we examine a differential calculus of causal functions which includes many of the familiar properties of standard multivariable differential calculus. These causal functions operate on infinite sequences, but this work gives a different notion of an infinite-dimensional derivative than either the Fréchet or Gateaux derivative used in functional analysis. In addition to showing many standard properties of differentiation, we show causal differentiation obeys a unique recurrence rule. We use this recurrence rule to compute the derivative of a simple recurrent neural network called an Elman network by hand and describe how the computed derivative can be used to train the network.

研究动机与目标

• 开发一种针对作用于无限序列的因果函数的严格微分学，避免依赖弗雷chet或盖陶克斯导数。
• 解决现有通过时间反向传播方法在循环网络中缺乏组合规则（如链式法则、求和法则）的问题。
• 为无限维因果系统提供一种数学上严谨的、类似有限维的导数概念，以实现实际的梯度计算。
• 通过精确导数计算和参数更新，展示该微分学在训练Elman网络中的实用性。

提出的方法

• 将因果函数定义为第k个输出仅依赖于前k个输入的函数，通过基于切片的条件进行形式化。
• 提出一种针对实向量序列上因果函数的新导数概念，基于有限逼近而非赋范空间。
• 建立经典微积分法则（求和、乘积、链式等）在因果函数上的适应版本，利用递归结构和有限逼近。
• 推导出一种新颖的递推规则（定理4.16），通过时间反向传播导数，实现对递归系统的微分。
• 通过手工计算将该微分学应用于Elman网络，计算网络输出对权重参数的导数。
• 利用计算出的导数以梯度下降方式指导参数更新，展示其向期望行为收敛。

实验结果

研究问题

• RQ1 能否为作用于无限序列的因果函数定义一种微分学，避免使用赋范向量空间和标准泛函分析导数？
• RQ2 在该新微分学中，哪些组合规则（如链式、求和或乘积法则）成立，它们与经典多元微积分有何不同？
• RQ3 是否存在一种唯一的递推规则，能够实现对Elman网络等递归系统高效且精确的微分？
• RQ4 该微分学如何应用于训练真实世界的循环网络架构（如Elman网络）？
• RQ5 该导数在非线性、无限维系统中对参数更新的局部近似准确程度如何？

主要发现

• 所提出的导数与弗雷chet和盖陶克斯导数不同，因其基于有限逼近而非赋范空间中的极限定义。
• 该微分学支持标准法则，如求和、乘积、链式和倒数法则，所有法则均已适配因果设定。
• 推导出一种新颖的递推规则（定理4.16），该规则唯一地实现了通过时间反向传播对偶数以微分递归系统。
• 使用该微分学对手动计算Elman网络的导数，对小步长的参数更新预测误差约为5%，验证了其准确性。
• 由导数引导的较大参数调整带来更大的性能提升，但误差也更高（25–65%超调），证实了线性近似的局部有效性。
• 该微分学实现了循环网络中精确、组合式的梯度计算，无需展开，为通过时间反向传播提供了理论基础。