[论文解读] The Stan Math Library: Reverse-Mode Automatic Differentiation in C++

Bob Carpenter, Matthew D. Hoffman+4 more|arXiv (Cornell University)|Sep 23, 2015

Simulation Techniques and Applications参考文献 1被引用 70

一句话总结

Stan Math 库是一种用于反向模式自动微分的 C++ 库，可实现统计建模和优化中高效、精确且可扩展的梯度计算。它通过表达式模板、延迟求值和自定义内存管理实现高性能，在各种计算工作负载下，其运行速度和内存使用量均优于其他自动微分库。

ABSTRACT

As computational challenges in optimization and statistical inference grow ever harder, algorithms that utilize derivatives are becoming increasingly more important. The implementation of the derivatives that make these algorithms so powerful, however, is a substantial user burden and the practicality of these algorithms depends critically on tools like automatic differentiation that remove the implementation burden entirely. The Stan Math Library is a C++, reverse-mode automatic differentiation library designed to be usable, extensive and extensible, efficient, scalable, stable, portable, and redistributable in order to facilitate the construction and utilization of such algorithms. Usability is achieved through a simple direct interface and a cleanly abstracted functional interface. The extensive built-in library includes functions for matrix operations, linear algebra, differential equation solving, and most common probability functions. Extensibility derives from a straightforward object-oriented framework for expressions, allowing users to easily create custom functions. Efficiency is achieved through a combination of custom memory management, subexpression caching, traits-based metaprogramming, and expression templates. Partial derivatives for compound functions are evaluated lazily for improved scalability. Stability is achieved by taking care with arithmetic precision in algebraic expressions and providing stable, compound functions where possible. For portability, the library is standards-compliant C++ (03) and has been tested for all major compilers for Windows, Mac OS X, and Linux.

研究动机与目标

• 开发一个可扩展、高效且用户友好的 C++ 库，用于反向模式自动微分，以支持高级统计推断和优化。
• 通过自动微分自动计算梯度，减轻复杂算法中导数实现的负担。
• 确保在概率和统计函数的导数计算中具备数值稳定性和精度。
• 提供一个可移植、符合标准且可扩展的框架，支持自定义函数扩展，并可集成到多种科学应用中。
• 对现有开源自动微分库在各种表达式类型和工作负载下进行基准测试，并证明其性能优势。

提出的方法

• 使用表达式模板和基于特性（traits-based）的元编程，实现导数计算的高效编译期优化。
• 在复合表达式中采用部分导数的延迟求值，以提高可扩展性并减少冗余计算。
• 通过子表达式缓存和自定义内存管理减少运行时开销，提升性能。
• 实现一个清晰的面向对象表达式框架，允许用户通过自定义函数和操作扩展库。
• 采用反向模式自动微分，通过伴随变量传播：在输出处将伴随变量初始化为 1，并使用链式法则向后传播。
• 提供双接口——直接 C++ 表达式接口和功能抽象层，兼顾易用性与模块化设计。

实验结果

研究问题

• RQ1 如何设计一个 C++ 库，使其在复杂统计建模中既高效又易于使用？
• RQ2 与 Adept、Adol-C、CppAD 和 Sacado 等现有开源自动微分系统相比，Stan Math 库在性能上有哪些优势？
• RQ3 表达式模板和延迟求值在梯度计算中如何提升可扩展性和内存效率？
• RQ4 该库在概率函数的导数计算中在多大程度上保持了数值稳定性和精度？
• RQ5 该库能否在多种平台和编译器上实现可移植性、可扩展性和生产就绪性？

主要发现

• Stan Math 库在梯度计算方面显著优于竞争的自动微分库（Adept、Adol-C、CppAD、Sacado），性能差异因表达式类型而异。
• 表达式模板和延迟求值减少了冗余计算，提升了可扩展性，尤其在复杂复合表达式中表现突出。
• 与标准自动微分库相比，自定义内存管理和子表达式缓存显著降低了运行时开销，提升了内存效率。
• 通过仔细处理算术精度和使用稳定、复合的函数，该库展现出高度的数值稳定性。
• 该库可在 Windows、Mac OS X 和 Linux 上跨平台运行，且与所有主流 C++ 编译器兼容，确保了广泛的可用性。
• 功能接口和直接 C++ 接口在易用性与性能之间取得良好平衡，支持交互式使用和高性能生产代码。