[论文解读] Sketching the order of events

Terry Lyons, Harald Oberhauser|arXiv (Cornell University)|Aug 31, 2017

Data Visualization and Analytics参考文献 12被引用 3

一句话总结

本文提出了一种用于大规模数据流的新型绘图框架，将传统流式绘图推广至任意阶的'有序矩'，实现了高效、通用且可扩展的特征表示。该方法通过使用具有理论保证的随机线性投影，在一阶绘图失败时仍能利用二阶特征完美分类马尔可夫流模式，实现误差和内存效率的理论保障。

ABSTRACT

We introduce features for massive data streams. These stream features can be thought of as "ordered moments" and generalize stream sketches from "moments of order one" to "ordered moments of arbitrary order". In analogy to classic moments, they have theoretical guarantees such as universality that are important for learning algorithms.

研究动机与目标

• 为以最小内存和计算成本高效总结大规模有序数据流提供解决方案。
• 将经典流式绘图（如 count-min）从一阶矩推广至更高阶有序矩，以实现更丰富的特征表示。
• 提供近似误差和通用性的理论保证，使其可应用于下游学习算法。
• 实现在标准绘图失效时对流中时间模式（如马尔可夫制度转换）的鲁棒检测。
• 设计一种支持实时更新、对数空间复杂度和准确模式查询的流算法。

提出的方法

• 提出特征映射 Φ(σ)，用于编码任意阶的有序矩，其中坐标对应于流中的模式（例如事件序列）。
• 通过结构化随机矩阵 L 使用随机线性投影来计算绘图 LΦ(σ)，以高概率实现 Φ(σ) 的低维近似。
• 使用哈希函数将事件映射至更小的特征空间，确保 |A| 的对数空间复杂度和流式效率。
• 推导出相对误差的理论界：(1−ε) ≤ |Φi(σ)−Φ̂i(σ)| / ||Φ(σ)|| ≤ (1+ε)，概率大于 1−δ，确保鲁棒性。
• 将绘图应用于非交换运算（如流连接），其在特征空间中对应代数乘法。
• 将框架适配至流变体模型（如 turnstile 和 cash register 模型），并通过类似经典绘图的修改方式扩展 ℓ₂ 误差界。

实验结果

研究问题

• RQ1 在流式环境中，是否能高效地对高阶有序矩进行绘图，同时保持理论误差保证？
• RQ2 此类绘图是否能实现对流的非线性泛函的通用表示，从而支持标准学习算法？
• RQ3 该方法是否能区分一阶绘图失效时的细微时间模式（如马尔可夫制度转换）？
• RQ4 当流具有相似的重头事件但时间排序不同时，该绘图在内存效率和准确性方面表现如何？
• RQ5 在现实流场景中，绘图大小（哈希函数数量）与近似精度之间的权衡是什么？

主要发现

• 当使用 4 个哈希函数且 |A|=100 时，内存压缩比高达 6012.50×（相比 6 小时的真实计算），模式长度最多为 3 时误差约为 3923.47。
• 当使用 32 个哈希函数且 |A|=100 时，内存压缩比仍为 6012.50×，同时将误差降低至 3923.47，展现出良好的可扩展性和准确性。
• 对于包含 10⁵ 个事件且 |A|=10⁵ 的流，使用二阶特征（M=2）可实现 100% 的马尔可夫制度转换分类准确率，而一阶特征（M=1）在 p 和 q 接近时准确率下降至 57%。
• 使用 20 个哈希函数和 10 个目标字母时，每条流的实时分类耗时约 0.15 秒，优于基线随机猜测（50% 准确率），且随着 p 和 q 更接近性能持续提升。
• 该方法在噪声观测下保持鲁棒性，并支持尺度极限，可分析大规模流行为。
• 该框架通过将经典绘图（如 count-min）扩展至高阶矩，实现了通用化，支持如流连接的非交换乘法等代数操作。