[论文解读] Rough paths, Signatures and the modelling of functions on streams

Terry Lyons|arXiv (Cornell University)|May 18, 2014

Image and Signal Denoising Methods参考文献 19被引用 63

一句话总结

本文提出了一种基于粗糙路径理论和基于签名的特征的新框架，用于在流数据上建模函数，从而实现对复杂、高振荡数据的有效机器学习。通过利用签名变换作为通用且忠实的特征映射，该方法实现了对路径分布的线性回归，在仅使用低阶签名分量的情况下，实现了对按一天中时间分类的金融时间序列的高精度分类（AUC > 0.98）。

ABSTRACT

Rough path theory is focused on capturing and making precise the interactions between highly oscillatory and non-linear systems. It draws on the analysis of LC Young and the geometric algebra of KT Chen. The concepts and the uniform estimates, have widespread application and have simplified proofs of basic questions from the large deviation theory and extended Ito's theory of SDEs; the recent applications contribute to (Graham) automated recognition of Chinese handwriting and (Hairer) formulation of appropriate SPDEs to model randomly evolving interfaces. At the heart of the mathematics is the challenge of describing a smooth but potentially highly oscillatory and vector valued path $x_{t}$ parsimoniously so as to effectively predict the response of a nonlinear system such as $dy_{t}=f(y_{t})dx_{t}$, $y_{0}=a$. The Signature is a homomorphism from the monoid of paths into the grouplike elements of a closed tensor algebra. It provides a graduated summary of the path $x$. Hambly and Lyons have shown that this non-commutative transform is faithful for paths of bounded variation up to appropriate null modifications. Among paths of bounded variation with given Signature there is always a unique shortest representative. These graduated summaries or features of a path are at the heart of the definition of a rough path; locally they remove the need to look at the fine structure of the path. Taylor's theorem explains how any smooth function can, locally, be expressed as a linear combination of certain special functions (monomials based at that point). Coordinate iterated integrals form a more subtle algebra of features that can describe a stream or path in an analogous way; they allow a definition of rough path and a natural linear "basis" for functions on streams that can be used for machine learning.

研究动机与目标

• 开发一种通用的、与数据无关的方法，用于总结和建模复杂、动态演化的信息流。
• 应用粗糙路径理论和签名变换，实现在高度振荡、非线性数据流上的有效机器学习。
• 证明基于签名的特征即使在原始数据被归一化或去噪后，也能捕捉路径的关键特征，适用于函数回归和分类任务。
• 通过路径的期望签名和签名的特征函数，在随机分析、函数回归与机器学习之间建立理论与实践的桥梁。

提出的方法

• 将路径的签名用作通用的、非交换的特征映射，以分层且代数结构化的方式编码流的完整历史。
• 使用坐标迭代积分计算签名，形成流上函数的自然线性基。
• 对签名分量应用线性回归以近似路径上的函数，并使用LASSO正则化选择显著特征。
• 利用期望签名和签名的特征函数对路径的条件分布律进行建模，实现对路径分布的回归。
• 该方法利用签名变换对有变差路径的忠实性，以及其在不依赖精细细节的情况下捕捉路径效应的能力。
• 实施了实用的处理流程：对金融时间序列进行归一化，计算低阶签名特征，应用LASSO正则化的线性回归，并通过ROC、K-S距离和分类准确率进行评估。

实验结果

研究问题

• RQ1 签名变换能否作为任意光滑、振荡路径的通用且忠实的特征表示，从而实现有效的机器学习？
• RQ2 在线性回归签名分量时，能在多大程度上捕捉时间序列数据（如金融市场模式）中的复杂非线性依赖关系？
• RQ3 基于签名的特征在对数据进行归一化以消除成交量和波动率影响后，能否有效区分金融数据中的不同时间区间？
• RQ4 期望签名能否为给定另一条路径的路径条件分布律提供一种可处理的、低维的近似？
• RQ5 在涉及高维、噪声大且非马氏过程的数据流的真实世界分类任务中，基于签名的模型表现如何？

主要发现

• 在样本外数据上，Kolmogorov-Smirnov距离达到0.84，表明不同时间区间的分离效果显著。
• 在样本外数据上，ROC曲线下面积达到0.986，表现出优异的判别能力。
• 在样本外数据上，正确分类准确率达到89%，证实了模型具有良好的泛化能力。
• 基于LASSO的特征选择识别出一小部分签名分量，使得在二维投影中能清晰区分不同时间区间的类别。
• 期望签名和签名的特征函数被证明能够刻画路径的分布律，从而实现对路径分布的线性回归。
• 签名变换被发现是对有变差路径的忠实表示，且每个签名对应唯一的最短代表路径。