[论文解读] On the Equivalence of Automatic and Symbolic Differentiation

Soeren Laue|arXiv (Cornell University)|Apr 5, 2019

Neural Networks and Applications被引用 4

一句话总结

本文证明反向模式自动微分与符号微分在算法上是等价的，二者在计算导数时执行完全相同的操作。关键洞见在于，当使用公共子表达式时，两种方法都会计算出相同的导数表达式，从而驳斥了‘自动微分可避免表达式膨胀’这一广泛存在的误解——实际上，表达式膨胀是由不良表示引起的，而非微分本身所致。

ABSTRACT

We show that reverse mode automatic differentiation and symbolic differentiation are equivalent in the sense that they both perform the same operations when computing derivatives. This is in stark contrast to the common claim that they are substantially different. The difference is often illustrated by claiming that symbolic differentiation suffers from "expression swell" whereas automatic differentiation does not. Here, we show that this statement is not true. "Expression swell" refers to the phenomenon of a much larger representation of the derivative as opposed to the representation of the original function.

研究动机与目标

• 挑战人们普遍认为自动微分与符号微分在本质上不同的信念。
• 澄清‘表达式膨胀’——常被视为自动微分的关键优势——并非源于符号微分本身，而是由表达式的低效表示所致。
• 证明当公共子表达式得到妥善管理时，两种方法执行完全相同的操作。
• 解决文献中关于Theano等工具的分类模糊问题，这些工具被含糊地归类为使用任一方法。
• 表明控制结构不会从根本上区分两种方法，因为两者均基于底层计算图运行。

提出的方法

• 本文使用有向无环图（DAG）对函数进行建模，以表示程序的计算轨迹。
• 通过分析DAG和含公共子表达式的表达式森林上的微分规则，比较反向模式自动微分与符号微分。
• 使用递归规则形式化微分过程：对每个节点，根据其子节点使用链式法则计算导数。
• 证明当公共子表达式以指针形式存储（而非重复复制）时，符号微分与反向模式自动微分产生完全相同的中间结果和最终结果。
• 使用Speelpenning的例子（f(x₁,…,xₙ) = x₁x₂…xₙ）说明，即使最终输出看起来庞大，两种方法仍计算出相同的梯度。
• 主张表达式简化与公共子表达式消除可在微分过程中完成，而非在之后，从而使两种方法效率相当。

实验结果

研究问题

• RQ1 反向模式自动微分与符号微分在其计算操作上是否真正不同？
• RQ2 ‘表达式膨胀’是由微分过程本身引起，还是由表达式表示的选择所致？
• RQ3 当公共子表达式得到妥善管理时，符号微分能否实现与自动微分相同的效率？
• RQ4 if-else等控制结构如何影响两种方法之间的等价性？
• RQ5 自动微分与符号微分之间的区别是实现层面的，还是根本性的算法差异？

主要发现

• 当使用公共子表达式时，反向模式自动微分与符号微分执行相同的一组操作，证明了它们的算法等价性。
• ‘表达式膨胀’现象并非由符号微分引起，而是由将DAG转换为无公共子表达式的树结构所致；这是表示问题，而非计算问题。
• 当公共子表达式以指针形式存储时，导数表达式的大小与原始DAG的大小呈线性关系，避免了指数级增长。
• 认为公共子表达式消除必须在事后进行的观点是错误的；它可整合在微分过程中，使符号微分与自动微分一样高效。
• 控制结构不会破坏等价性，因为两种方法均基于底层计算图运行，该图抽象掉了控制流。
• Speelpenning的例子并未展示符号微分的低效；两种方法计算出相同的梯度，且最终输出大小通过简化减小，而非源于内在的算法优势。