[论文解读] The iisignature library: efficient calculation of iterated-integral signatures and log signatures

Jeremy Reizenstein, Benjamin Graham|arXiv (Cornell University)|Feb 22, 2018

Image Processing and 3D Reconstruction参考文献 3被引用 22

一句话总结

本论文提出 iisignature，一个高性能的 Python 库，用于高效计算分段线性、固定维度路径的迭代积分签名与对数签名。该库基于自由李代数与 Lyndon 基提出优化算法，在低至中等维度的密集签名场景下，相较于现有方法实现显著提速——最高达 100 倍，同时具备经过验证的内存效率，并支持机器学习流水线中的可微计算。

ABSTRACT

Iterated-integral signatures and log signatures are vectors calculated from a path that characterise its shape. They come from the theory of differential equations driven by rough paths, and also have applications in statistics and machine learning. We present algorithms for efficiently calculating these signatures, and benchmark their performance. We release the methods as a Python package.

研究动机与目标

• 开发一种针对密集、固定维度路径的迭代积分签名与对数签名的快速高效实现。
• 解决涉及路径数据（如手写识别与脑电信号分析）的机器学习应用中的性能瓶颈问题。
• 利用自由李代数与 Lyndon 基等代数结构优化签名计算，降低计算开销。
• 提供可微、可扩展的库，兼容深度学习框架，支持端到端神经网络训练。

提出的方法

• 该库利用自由李代数结构通过递归积分计算签名，避免冗余计算。
• 采用 Lyndon 基实现高效的对数签名计算，减少所需运算次数并提升缓存局部性。
• 通过直接 C++ 代码生成与手工优化的循环实现，最大限度降低内存延迟与数据依赖。
• 支持对数签名计算的直接法与投影法，后者在高阶时更具内存效率。
• 库中包含签名拼接、缩放及通过签名操作的反向传播支持，可无缝集成至神经网络。
• 通过减去背景开销对内存使用进行性能分析与最小化，峰值内存使用量通过 Valgrind 的 Massif 工具测量。

实验结果

研究问题

• RQ1 在大多数签名元素非零的密集、低维路径中，如何高效计算迭代积分签名？
• RQ2 哪些代数结构——特别是自由李代数与 Lyndon 基——可被用于降低签名与对数签名计算的复杂度？
• RQ3 与现有开源工具（如 esig 和 CoRoPa）相比，iisignature 库在速度与内存使用方面的表现如何？
• RQ4 通过手工优化的 C++ 代码生成与算法优化，能在多大程度上减少内存延迟并提升缓存效率？
• RQ5 该库能否支持神经网络训练所需的可微操作，以处理序列或路径数据？

主要发现

• iisignature 库在密集、低维场景下，签名计算速度相较现有实现最高提升 100 倍。
• 在对数签名计算中使用 Lyndon 基可减少运算次数并提升缓存性能，从而实现更快执行速度与更低内存占用。
• 对于具有 10 个步长的三维路径，峰值内存使用量随阶数呈可预测增长，且在高阶时投影法比直接法更高效。
• 库在多次运行中表现出一致性能，内存使用测量结果具有高度可重复性。
• 实现支持可微操作，可集成至深度学习流水线，实现对路径数据的端到端训练。
• 基于代数结构的代码生成带来可测量的性能提升，进一步通过向量化或基于 LLVM 的编译优化亦可行。