[论文解读] Online Machine Learning in Big Data Streams

András A. Benczúr, Levente Kocsis+1 more|arXiv (Cornell University)|Feb 16, 2018

Data Stream Mining Techniques被引用 16

一句话总结

本文全面综述了大数据流在线机器学习的参考文献，重点涵盖分布式架构、概念漂移的自适应模型，以及在实时系统中的实际实现。文章强调增量学习、分布式流处理，以及推荐系统作为关键应用领域。

ABSTRACT

The area of online machine learning in big data streams covers algorithms that are (1) distributed and (2) work from data streams with only a limited possibility to store past data. The first requirement mostly concerns software architectures and efficient algorithms. The second one also imposes nontrivial theoretical restrictions on the modeling methods: In the data stream model, older data is no longer available to revise earlier suboptimal modeling decisions as the fresh data arrives. In this article, we provide an overview of distributed software architectures and libraries as well as machine learning models for online learning. We highlight the most important ideas for classification, regression, recommendation, and unsupervised modeling from streaming data, and we show how they are implemented in various distributed data stream processing systems. This article is a reference material and not a survey. We do not attempt to be comprehensive in describing all existing methods and solutions; rather, we give pointers to the most important resources in the field. All related sub-fields, online algorithms, online learning, and distributed data processing are hugely dominant in current research and development with conceptually new research results and software components emerging at the time of writing. In this article, we refer to several survey results, both for distributed data processing and for online machine learning. Compared to past surveys, our article is different because we discuss recommender systems in extended detail.

研究动机与目标

• 提供大数据流中在线机器学习的参考性概述，重点关注分布式系统和自适应学习。
• 突出在内存有限条件下处理高吞吐量、非平稳数据流的关键挑战。
• 展示在线分类、回归、推荐和无监督学习的最先进模型与系统。
• 强调在动态环境中检测和缓解概念漂移的重要性。
• 提供关于生产就绪系统和在线学习软件库的实际见解。

提出的方法

• 采用数据流计算模型，其中数据持续到达，由于内存限制仅存储少量数据。
• 采用增量学习：在不访问历史数据的情况下，每次接收新数据实例后更新模型。
• 应用具有容错能力的分布式流处理架构，如基于参数服务器和互连拓扑的架构。
• 利用滑动窗口和基准窗口技术处理随时间变化数据中的概念漂移。
• 采用集成方法和遗忘机制以适应突发或渐进的分布变化。
• 利用经典算法的在线变体（例如在线k-means、在线PCA、在线LDA）以实现可扩展性和实时性能。

实验结果

研究问题

• RQ1 在内存有限的条件下，如何高效地从高吞吐量数据流中实时更新机器学习模型？
• RQ2 在大数据环境中，哪些最有效的分布式软件架构适用于可扩展的在线学习？
• RQ3 在在线学习系统中，如何检测和缓解随时间变化的数据分布变化（即概念漂移）？
• RQ4 在动态、非平稳环境中，在线学习与传统批处理学习的关键区别是什么？
• RQ5 推荐系统在概念漂移方面面临哪些独特挑战，现有解决方案如何实现实时适应？

主要发现

• 在线学习对于实时应用至关重要，因为数据持续到达且无法完整存储，必须通过增量方式更新模型。
• 基于参数服务器的分布式流处理系统可实现跨集群的可扩展、容错的在线学习。
• 概念漂移是生产系统中的主要挑战；滑动窗口和显式遗忘机制可提高对突发或渐进分布变化的鲁棒性。
• 基于集成的演化学习器和基于触发的模型在检测和适应概念漂移方面非常有效，尤其在动态环境中。
• 推荐系统是在线学习中一个关键但研究不足的应用领域，对能够处理用户偏好演变的自适应模型需求日益增长。
• 经典算法的在线变体（例如在线LDA、在线PCA、在线k-means）可实现在流式环境中的实时降维、聚类和主题建模。