[论文解读] Piecewise Linear Approximation in Data Streaming: Algorithmic Implementations and Experimental Analysis

Romaric Duvignau, Vincenzo Gulisano+2 more|arXiv (Cornell University)|Aug 27, 2018

Time Series Analysis and Forecasting参考文献 16被引用 4

一句话总结

本文提出了一种面向实时数据处理中分段线性近似（PLA）的流感知框架，引入了优化的压缩协议和一种新颖启发式算法，以降低延迟和误差。结果表明，重新思考PLA输出表示方式与协议设计，可显著提升重建延迟与精度，尤其在动态流处理条件下，且不以牺牲压缩效率为代价。

ABSTRACT

Piecewise Linear Approximation (PLA) is a well-established tool to reduce the size of the representation of time series by approximating the series by a sequence of line segments while keeping the error introduced by the approximation within some predetermined threshold. With the recent rise of edge computing, PLA algorithms find a complete new set of applications with the emphasis on reducing the volume of streamed data. In this study, we identify two scenarios set in a data-stream processing context: data reduction in sensor transmissions and datacenter storage. In connection to those scenarios, we identify several streaming metrics and propose streaming protocols as algorithmic implementations of several state of the art PLA techniques. In an experimental evaluation, we measure the quality of the reviewed methods and protocols and evaluate their performance against those streaming statistics. All known methods have deficiencies when it comes to handling streaming-like data, e.g. inflation of the input stream, high latency or poor average error. Our experimental results highlight the challenges raised when transferring those classical methods into the stream processing world and present alternative techniques to overcome them and balance the related trade-offs.

研究动机与目标

• 解决经典PLA方法在实时流处理中的不足，其中高延迟、数据膨胀及误差控制不佳严重制约实际应用。
• 超越压缩比的单一评估维度，引入流式专用指标：数据压缩率、重建延迟（以段数计）与精度损失，重构PLA评估体系。
• 设计并评估适用于边缘与数据中心场景的流式协议，以优化PLA压缩数据的传输与存储效率。
• 提出一种新的PLA计算启发式方法，优先降低单个误差，同时保持具有竞争力的压缩率。
• 证明：通过协议与算法的微小调整，可显著优化流式工作负载中压缩率、延迟与准确率之间的权衡。

提出的方法

• 定义三项流式指标：压缩比、重建延迟（以段数计）与平均误差（ℓ₂-范数），用于评估PLA性能。
• 引入“压缩协议”——即PLA技术的具体算法实现，用于控制流处理过程中线段输出的时机与方式。
• 采用动态规划方法最小化PLA表示的“大小”，将共享节点计为2字节，独立节点计为3字节，超越仅以段数为度量标准。
• 应用符号技巧（存储−x而非x）以减少存储开销，且无需额外位宽。
• 在现有PLA方法（如[10, 17, 18]中所述）基础上，扩展新型输出协议，以降低延迟并提升误差控制能力。
• 测量压缩记录的实际字节消耗，并在真实世界的时间戳数据流上评估性能，而非仅依赖合成数据或UCR等基准数据集。

实验结果

研究问题

• RQ1 经典PLA方法在真实世界流式场景中的表现如何，特别是在重建延迟与误差膨胀方面？
• RQ2 协议级设计选择（如何时输出段）在多大程度上能改善PLA压缩流的延迟与精度？
• RQ3 新的PLA计算启发式方法是否能降低单个近似误差，同时不损害压缩效率？
• RQ4 是否存在可被协议与算法设计优化的、压缩比、重建延迟与误差之间的有意义权衡？
• RQ5 现有PLA方法在数据突变时表现如何？自适应策略能否缓解数据膨胀问题？

主要发现

• 经典PLA方法在流式环境中常表现不佳，导致数据量膨胀，重建延迟高达4个段，且产生高于必要的单个误差。
• 所提出的压缩协议显著降低重建延迟——相比基线方法，输出延迟控制在输入处理后2至4个段内。
• 新启发式方法在保持具有竞争力压缩率的同时，相比标准方法显著降低了平均ℓ₂误差。
• 压缩比的微小降低可带来延迟与误差的显著改善，表明高保真度压缩不应对压缩率作为唯一优化目标。
• 基于动态规划的大小度量（将节点计为2或3字节）比仅以段数为度量更准确地反映存储成本。
• 基于真实世界数据集的实验框架表明，UCR基准数据集因异质性，不能代表流式工作负载；真实世界数据揭示了更精细的性能权衡。