[论文解读] Principles of Automatic Differentiation

Philipp Hoffmann|arXiv (Cornell University)|Nov 3, 2014

Numerical methods for differential equations参考文献 7被引用 3

一句话总结

本文建立了自动微分（AD）的数学基础，通过证明其计算等价性，统一了多种前向模式AD的表述形式——如双数、矩阵-向量乘法、泰勒展开及前向传播算子。此外，本文还引入了高阶前向AD，并对比了反向模式AD与前向模式AD，阐明了它们共同的计算根源。

ABSTRACT

This article provides an overview of some of the mathematical principles of Automatic Differentiation (AD). In particular, we summarise different descriptions of the Forward Mode of AD, like the matrix-vector product based approach, the idea of lifting functions to the algebra of dual numbers, the method of Taylor series expansion on dual numbers and the application of the push-forward operator, and explain why they all reduce to the same actual chain of computations. We further give a short mathematical description of some methods of higher-order Forward AD and, at the end of this paper, describe the Reverse Mode and explain its relation to the Forward Mode.

研究动机与目标

• 将前向模式自动微分的多种数学表述形式统一为一个连贯的计算框架。
• 通过共享的计算链，阐明看似不同的AD方法（如双数与前向传播算子）之间的等价性。
• 将分析扩展至高阶前向AD，并从基本原理上阐明反向模式AD与前向模式AD的关系。
• 为AD提供一个数学上严谨的基础，以支持实现与理论理解。

提出的方法

• 使用双数的代数结构形式化前向模式AD，其中每个数同时携带值与导数分量。
• 在方向导数的语境下，通过矩阵-向量乘法表达链式法则。
• 通过对双数进行泰勒级数展开，推导出相同的计算结果，同时保持导数阶次的完整性。
• 应用前向传播算子来建模复合函数中导数的传播过程。
• 通过递归提升与高阶双数，将该框架扩展至高阶导数。
• 通过分析伴随传播及其与前向累积的对偶性，对比反向模式AD与前向模式AD。

实验结果

研究问题

• RQ1 为何前向模式AD的不同表述形式——双数、矩阵-向量积、泰勒级数与前向传播算子——能产生相同的计算结果？
• RQ2 这些不同AD表述形式之间等价性的数学结构基础是什么？
• RQ3 如何基于前向模式AD的原理系统地计算高阶导数？
• RQ4 在计算与代数结构方面，反向模式AD与前向模式AD以何种方式相关联？

主要发现

• 所有前向模式AD的表述形式——双数、矩阵-向量积、泰勒级数与前向传播算子——由于计算行为的同构性，均计算出相同的导数链。
• 使用双数可提供一种自然编码一阶导数链式法则的代数框架。
• 通过将双数扩展以包含高阶项，可构建高阶前向AD，从而实现导数的系统性计算。
• 反向模式AD在数学上与前向模式AD对偶，其关键区别在于导数传播的方向以及伴随变量的使用。