[论文解读] Signatory: differentiable computations of the signature and logsignature transforms, on both CPU and GPU

Patrick Kidger, Terry Lyons|arXiv (Cornell University)|Jan 3, 2020

Parallel Computing and Optimization Techniques参考文献 35被引用 51

一句话总结

Signatory 是一个 CPU- 和 GPU 能计算签名与对数签名变换的可微分计算库，包含新算法改进和预计算策略，并集成 PyTorch。

ABSTRACT

Signatory is a library for calculating and performing functionality related to the signature and logsignature transforms. The focus is on machine learning, and as such includes features such as CPU parallelism, GPU support, and backpropagation. To our knowledge it is the first GPU-capable library for these operations. Signatory implements new features not available in previous libraries, such as efficient precomputation strategies. Furthermore, several novel algorithmic improvements are introduced, producing substantial real-world speedups even on the CPU without parallelism. The library operates as a Python wrapper around C++, and is compatible with the PyTorch ecosystem. It may be installed directly via exttt{pip}. Source code, documentation, examples, benchmarks and tests may be found at exttt{\url{https://github.com/patrick-kidger/signatory}}. The license is Apache-2.0.

研究动机与目标

• 介绍 Signatory，一款可在 CPU 和 GPU 上计算签名与对数签名变换的库。
• 展示在机器学习工作流中实现可微分执行的实际加速和新算法技术。
• 提供对区间进行高效查询的预处理与预计算策略。
• 展示与 PyTorch 的集成以及对所有变换的反向传播。

提出的方法

• 开发融合乘法—指数运算以降低标量乘法和渐近复杂度。
• 提出 O(L) 预计算策略，以在 O(1) 时间内回答任意区间查询。
• 引入比 Lyndon 基更高效的对数签名基，以加快计算。
• 通过 LibTorch 实现并行 CPU（OpenMP）和 GPU 支持，无需自定义 CUDA 代码。
• 提供手写反向传播以提高速度和内存效率。

实验结果

研究问题

• RQ1 在 CPU 与 GPU 上都能以实际速度提升实现对签名和对数签名变换的可微分计算吗？
• RQ2 新的算法技术（融合乘法-指数运算、预计算、替代基）是否在实际中比现有库带来性能提升？
• RQ3 如何以线性或常数时间高效地回答（对数）签名的区间查询？
• RQ4 通过这些变换的反向传播在深度学习工作流中是否可行且高效？
• RQ5 Signatory 与 PyTorch 的集成效果如何，并支持端到端训练？

主要发现

• Signatory 相较于之前的 CPU 实现，以及相对于 iisignature 等替代方案在 GPU 执行方面都获得了显著的加速。
• GPU 支持通过在训练过程中减少 CPU 与 GPU 之间的数据传输，带来巨大的性能提升。
• 反向传播通过手写梯度获得全面支持，以提升速度和内存效率。
• 预计算在 O(L) 预处理后实现任意区间的 O(1) 查询。
• 一种新颖的对数签名基在计算效率上优于传统的基于 Lyndon 的基。