[论文解读] Temporally-Biased Sampling for Online Model Management

Brian Hentschel, Peter J. Haas+1 more|arXiv (Cornell University)|Jan 29, 2018

Data Stream Mining Techniques参考文献 23被引用 3

一句话总结

本文提出时间偏置采样（T-TBS 和 R-T-TBS）用于在线模型管理，其中数据项按随时间指数衰减的包含概率进行采样，以优先处理近期数据，同时保留旧数据以增强鲁棒性。R-TBS 算法独特地确保了受控的衰减速率和在可变数据到达率下的有界样本大小，相较于滑动窗口方法在适应性和稳定性方面表现更优，适用于多样化的数据流。

ABSTRACT

To maintain the accuracy of supervised learning models in the presence of evolving data streams, we provide temporally-biased sampling schemes that weight recent data most heavily, with inclusion probabilities for a given data item decaying exponentially over time. We then periodically retrain the models on the current sample. This approach speeds up the training process relative to training on all of the data. Moreover, time-biasing lets the models adapt to recent changes in the data while -- unlike in a sliding-window approach -- still keeping some old data to ensure robustness in the face of temporary fluctuations and periodicities in the data values. In addition, the sampling-based approach allows existing analytic algorithms for static data to be applied to dynamic streaming data essentially without change. We provide and analyze both a simple sampling scheme (T-TBS) that probabilistically maintains a target sample size and a novel reservoir-based scheme (R-TBS) that is the first to provide both complete control over the decay rate and a guaranteed upper bound on the sample size, while maximizing both expected sample size and sample-size stability. The latter scheme rests on the notion of a "fractional sample" and, unlike T-TBS, allows for data arrival rates that are unknown and time varying. R-TBS and T-TBS are of independent interest, extending the known set of unequal-probability sampling schemes. We discuss distributed implementation strategies; experiments in Spark illuminate the performance and scalability of the algorithms, and show that our approach can increase machine learning robustness in the face of evolving data.

研究动机与目标

• 为应对在不重构学习算法的前提下，持续演化数据流对模型准确率的影响这一挑战。
• 设计采样方案，优先处理近期数据，同时保留旧数据以抵抗噪声和周期性波动。
• 提供一种采样方法，使静态机器学习模型能够以极低计算成本在流式数据上进行周期性再训练。
• 开发一种基于蓄水池的算法（R-TBS），确保包含概率呈指数衰减，并在可变数据到达率下保证样本大小的上界。
• 支持时间偏置采样在分布式环境中的部署与可扩展性，以应对真实世界的流式工作负载。

提出的方法

• T-TBS 使用概率采样以维持目标样本大小，其中每个数据项的包含概率根据其到达时间戳随时间呈指数衰减。
• R-TBS 引入了‘分数样本’的概念，以实现样本大小的动态调整，从而实现对衰减速率和最大样本大小的双重控制。
• 这些算法确保来自不同时间戳的数据项的包含概率之比按 Pr[i ∈ St]/Pr[j ∈ St] = e^−λ(t′′−t′) 的方式指数衰减，满足关键可解释性标准。
• R-TBS 是首个在有界样本大小约束下，实现最优期望样本大小和最小样本大小方差的蓄水池采样方案。
• 该方法支持批量到达，并可通过自流算法中适配的技术实现分布式实现。
• 理论分析证明，R-TBS 在所有具有指数衰减特性的有界大小采样方案中，最大化期望样本大小并最小化方差。

实验结果

研究问题

• RQ1 基于采样的方法是否能在减少再训练成本的同时，维持在演化数据流中的模型准确率，相较于全量数据再训练？
• RQ2 如何控制包含概率，以确保近期数据被优先处理，同时保留旧数据以增强鲁棒性？
• RQ3 基于蓄水池的采样算法是否能在可变数据到达率下，维持包含概率的指数衰减并保证样本大小有界？
• RQ4 时间偏置采样在处理概念漂移和周期性模式方面，与滑动窗口方法相比性能如何？
• RQ5 时间偏置采样在分布式流式系统中的可扩展性和分布特性如何？

主要发现

• R-TBS 在所有具有指数衰减特性的有界大小采样方案中，实现了最优期望样本大小并最小化了样本大小方差。
• R-TBS 能够有效应对未知且随时间变化的数据到达率，避免了简单方案中固有的样本溢出和不足问题。
• Spark 中的实验表明，时间偏置采样在异常事件和周期性数据模式下显著提升了模型鲁棒性，优于滑动窗口方法。
• 该方法使现有静态机器学习算法可在动态流式环境中使用，仅需极少修改，即可长期保持模型准确率。
• R-TBS 不需要精确的参数调优，在多种衰减速率（λ）下均表现良好，而滑动窗口方法则存在全有或全无的包含问题。
• 当数据到达速度减慢时，R-TBS 算法通过缩小样本正确处理了样本不足的情况，防止旧数据被过度代表。