[论文解读] Tangent: Automatic differentiation using source-code transformation for dynamically typed array programming

Bart van Merriënboer, Dan Moldovan+1 more|arXiv (Cornell University)|Sep 25, 2018

Evolutionary Algorithms and Applications被引用 16

一句话总结

Tangent 是首个在动态类型语言中使用源代码转换（SCT）的 Python 自动微分库，实现了高效、高性能的导数计算，并与 Python 生态系统完全兼容。它通过持久化数据结构、延迟梯度计算和静态优化实现这一目标，支持可变数组、可检查的导数代码以及梯度手术等功能，性能与现有框架相当，同时支持无缝的调试和性能分析。

ABSTRACT

The need to efficiently calculate first- and higher-order derivatives of increasingly complex models expressed in Python has stressed or exceeded the capabilities of available tools. In this work, we explore techniques from the field of automatic differentiation (AD) that can give researchers expressive power, performance and strong usability. These include source-code transformation (SCT), flexible gradient surgery, efficient in-place array operations, higher-order derivatives as well as mixing of forward and reverse mode AD. We implement and demonstrate these ideas in the Tangent software library for Python, the first AD framework for a dynamic language that uses SCT.

研究动机与目标

• 开发一种基于源代码转换（SCT）的自动微分系统，用于动态类型语言（如 Python），以克服基于操作符重载方法的局限性。
• 通过支持就地数组操作、高阶导数以及前向/反向模式混合等特性，实现对表达性强的机器学习模型开发的支持。
• 通过直接操作源代码，确保与 Python 全生态系统的兼容性，包括调试器、性能分析工具和内省工具。
• 证明在动态语言中使用 SCT 可实现与现有框架相当的性能，同时支持高级调试和优化能力。
• 探索使用静态分析和代码转换在 Python 中实现通用可微编程的可行性与实现方法。

提出的方法

• Tangent 对 Python 的抽象语法树（AST）进行源代码转换，生成导数函数，并通过反转控制流来实现反向模式自动微分。
• 它使用持久化数据结构在反向模式自动微分中高效表示可变的多维数组，最大限度减少内存开销。
• 采用延迟求值机制，将梯度计算推迟到需要时再执行，从而减少不必要的计算，提升性能。
• 对转换后的代码应用多分派和静态优化，以提高运行时效率，并支持全程序分析。
• 通过允许用户在反向传播中注入任意代码，支持梯度手术，从而实现对导数的细粒度控制。
• 对就地操作和闭包施加限制，以避免扰动混淆，确保自动微分转换的正确性。

实验结果

研究问题

• RQ1 能否在像 Python 这样的动态类型语言中有效应用源代码转换，以实现高性能的自动微分？
• RQ2 在基于 SCT 的自动微分系统中，如何高效表示和微分可变的多维数组？
• RQ3 基于 SCT 的自动微分框架在多大程度上能够支持梯度手术、高阶导数以及混合前向/反向模式等高级特性？
• RQ4 基于 SCT 的自动微分能否实现与现有基于操作符重载的框架相当的性能，同时保持与 Python 调试和性能分析工具的完全兼容？
• RQ5 为确保在动态语言中基于 SCT 的自动微分的数据流分析的正确性和可行性，需要施加哪些语言级别的限制？

主要发现

• Tangent 在 Python 中成功实现了基于源代码转换的自动微分，使其成为首个在动态类型语言中实现此类功能的框架。
• 在多层感知机（MLP）和格子语言模型基准测试中，系统表现出与 Autograd 和 TensorFlow 等成熟框架相当的运行时性能。
• 通过直接操作源代码，Tangent 实现了与 Python 调试和性能分析工具的完全兼容，使开发者能够使用标准的调试和内省功能。
• 持久化数据结构与延迟梯度计算的结合显著降低了反向模式自动微分中的内存开销，并提升了性能。
• Tangent 支持梯度手术和就地数组操作等高级功能，这些功能在基于操作符重载的框架中无法原生支持。
• 该框架对用户代码施加了极少的限制，允许数据依赖的控制流和标准 Python 语法，同时通过静态分析和代码转换确保正确性。