[论文解读] Toward a generic representation of random variables for machine learning

Gautier Marti, Philippe Very+1 more|arXiv (Cornell University)|Jun 2, 2015

Time Series Analysis and Forecasting参考文献 26被引用 3

一句话总结

本文提出了一种通用的、非参数化的随机变量表示方法，该方法在不损失信息的前提下解耦了依赖结构与边缘分布，从而支持一种新型距离度量（GNPR），能够同时捕捉这两方面特征。将该方法应用于独立同分布的时间序列，特别是金融信用违约互换收益，其聚类结果显著优于基于收益的标准化L2距离，聚类稳定性与同质性更高，调整兰德指数（ARI）达到0.85，而L2距离仅为0.64。

ABSTRACT

This paper presents a pre-processing and a distance which improve the performance of machine learning algorithms working on independent and identically distributed stochastic processes. We introduce a novel non-parametric approach to represent random variables which splits apart dependency and distribution without losing any information. We also propound an associated metric leveraging this representation and its statistical estimate. Besides experiments on synthetic datasets, the benefits of our contribution is illustrated through the example of clustering financial time series, for instance prices from the credit default swaps market. Results are available on the website www.datagrapple.com and an IPython Notebook tutorial is available at www.datagrapple.com/Tech for reproducible research.

研究动机与目标

• 开发一种适用于机器学习的预处理方法与距离度量，用于独立同分布的随机过程，能够联合建模依赖结构与分布特征。
• 解决金融时间序列聚类结果在重采样或扰动下的不稳定性问题。
• 提供一种数学基础坚实、非参数化的现有仅分布或仅依赖距离的替代方案。
• 在合成数据与真实世界金融时间序列（如信用违约互换价格）上展示改进的聚类性能。
• 通过在www.datagrapple.com公开代码与实验结果，实现研究的可复现性。

提出的方法

• 提出一种非参数化的随机变量表示方法，通过不损失信息的方式分离依赖结构与边缘分布，灵感源自对 copula 理论中斯克勒定理（Sklar’s theorem）的借鉴。
• 引入广义非参数表示（GNPR）距离，通过参数 θ ∈ [0,1] 联合分布与依赖信息，实现从纯分布（θ=0）到纯依赖（θ=1）的插值。
• 采用基于秩次与经验累积分布函数的技术，对GNPR距离进行经验估计，以处理真实数据。
• 将GNPR距离应用于价格增量的时间序列，在随机游走假设下假设增量为独立同分布，特别适用于信用违约互换。
• 使用标准聚类算法（如Ward法、k-means++）结合GNPR距离，评估聚类划分的稳定性与同质性。
• 通过重采样（奇数日与偶数交易日）验证结果，并利用调整兰德指数（ARI）比较聚类稳定性。

实验结果

研究问题

• RQ1 能否通过一种统一的随机变量表示方法，将依赖结构与分布特征分离，从而提升独立同分布时间序列上的聚类性能？
• RQ2 GNPR距离（联合分布与依赖信息）与标准L2距离在收益上的聚类稳定性相比如何？
• RQ3 所提出的方法是否能在具有重尾分布的金融时间序列（如信用违约互换）上产生更同质且更稳定的聚类？
• RQ4 GNPR中的参数θ在多大程度上可实现从分布到依赖的聚类方式调节？
• RQ5 基于GNPR的聚类对小扰动（如交易日的重采样）是否具有鲁棒性？

主要发现

• 在CDS数据上，GNPR距离取θ=0.5（平衡分布与依赖）时，调整兰德指数（ARI）达到0.85，显著优于基于收益的L2距离（仅0.64）。
• 使用GNPR θ=0.5进行聚类时，奇数日与偶数日之间的聚类划分更加稳定，簇成员重新分配极少，表明对扰动具有鲁棒性。
• 通过GNPR θ=0.0识别出的四个簇与CDS数据集中标准差的多模态经验分布精确匹配，证实了其对分布差异的敏感性。
• GNPR θ=1.0的距离矩阵揭示了CDS收益中的层次化相关结构，按地区（美国、欧洲、日本）、信用质量（投资级与高收益）及行业部门分组。
• 在合成数据上，该方法表现出优越性能，能够同时捕捉分布与依赖结构，从而生成更精细且更具意义的聚类划分。
• 结果具有可复现性，并通过www.datagrapple.com公开，包含完整代码与实验细节。