[论文解读] Tick: a Python library for statistical learning, with a particular emphasis on time-dependent modelling

Emmanuel Bacry, Martin Bompaire+2 more|arXiv (Cornell University)|Jul 10, 2017

Point processes and geometric inequalities参考文献 11被引用 27

一句话总结

tick 是一个高性能的 Python 库，专注于时变统计学习模型，如 Hawkes 过程、广义线性模型和生存分析。它利用 C++ 加速的模块化优化算法（包括 SVRG、SDCA 和近端求解器），可在多核系统上实现快速、可扩展的推理，计算速度比现有的 PtPack 和 hawkes R 库高出几个数量级。

ABSTRACT

Tick is a statistical learning library for Python~3, with a particular emphasis on time-dependent models, such as point processes, and tools for generalized linear models and survival analysis. The core of the library is an optimization module providing model computational classes, solvers and proximal operators for regularization. tick relies on a C++ implementation and state-of-the-art optimization algorithms to provide very fast computations in a single node multi-core setting. Source code and documentation can be downloaded from https://github.com/X-DataInitiative/tick

研究动机与目标

• 解决 Python 中缺乏全面、高性能的开源工具来处理时变统计模型的问题。
• 提供一个模块化、可扩展的优化框架，支持点过程以外的广泛模型。
• 使 Hawkes 过程的高级推理算法（如非参数和参数估计器）对研究人员和实践者更加易用且高效。
• 在模拟和拟合速度方面超越现有库（如 PtPack 和 hawkes R），尤其是在大规模数据集上。
• 将最先进的优化技术（如 SVRG、SDCA）集成到与 scikit-learn 兼容的 API 中，以提升易用性和可扩展性。

提出的方法

• 该库基于使用 C++ 实现性能优化的模块化优化核心，通过 Python API 暴露求解器和近端算子。
• 实现了如随机方差缩减梯度（SVRG）和随机对偶坐标上升（SDCA）等先进优化算法，以支持可扩展训练。
• 通过可组合的近端算子（如 L2、L1、组 L1、总变差）和求解器，支持广泛的模型。
• 提供多种核类型（如指数型、高斯型和基函数核）的 Hawkes 过程模拟与推理工具。
• 该库遵循 scikit-learn 的 API 设计，以保证一致性和易用性，可无缝集成到现有机器学习工作流中。
• 在多核系统上使用合成数据和真实世界数据集（包括高频金融数据和地震余震记录）进行基准测试。

实验结果

研究问题

• RQ1 一个 Python 库是否能在保持易用性和模块化的同时，实现对时变模型（如 Hawkes 过程）的高性能推理？
• RQ2 与 PtPack 和 hawkes R 等现有库相比，tick 的优化堆栈在速度和可扩展性方面表现如何？
• RQ3 模块化近端优化和先进求解器在多类统计模型中能多大程度上提升推理效率？
• RQ4 Hawkes 过程的非参数和参数估计算法能否在单一、易用且高效的框架下统一实现？
• RQ5 tick 在大规模时间序列建模任务中，跨多个 CPU 核心的可扩展性如何？

主要发现

• 在模拟和拟合 Hawkes 过程方面，tick 相较于 hawkes R 和 PtPack 提升了几个数量级，尤其在包含高达 5×10^7 个事件的大规模数据集上表现显著。
• 在 16 核系统上，tick 展现出强大的可扩展性，显著缩短了大规模推理任务的计算时间。
• 该库成功实现了完整的 Hawkes 过程估计算法套件，包括 EM、基函数核、Wiener-Hopf 和 NPHC 方法，兼具高精度与高性能。
• 与 scikit-learn 的基准对比表明，tick 的求解器在逻辑回归任务中表现具有竞争力，证实其在时变模型之外也具备广泛适用性。
• 通过使用 C++ 加速的求解器和近端算子，可高效训练带正则化的 Cox 回归和泊松回归等模型。
• 在高频金融和地震余震分析等实际应用中，tick 展现出在复杂真实数据集上的实用价值和鲁棒性。