[论文解读] Real-time Text Analytics Pipeline Using Open-source Big Data Tools

Hassan Nazeer, Waheed Iqbal+3 more|arXiv (Cornell University)|Dec 12, 2017

Cloud Computing and Resource Management参考文献 16被引用 6

一句话总结

本文提出了一种使用开源大数据工具的实时文本分析流水线——Apache Kafka用于数据摄取，Apache Spark用于内存流处理，Apache Cassandra用于持久化存储，D3.js用于可视化——在三台虚拟机上处理466,700条推文耗时10.7分钟，实现亚分钟级延迟（0.7分钟），展示了可扩展吞吐量的近实时性能。

ABSTRACT

Real-time text processing systems are required in many domains to quickly identify patterns, trends, sentiments, and insights. Nowadays, social networks, e-commerce stores, blogs, scientific experiments, and server logs are main sources generating huge text data. However, to process huge text data in real time requires building a data processing pipeline. The main challenge in building such pipeline is to minimize latency to process high-throughput data. In this paper, we explain and evaluate our proposed real-time text processing pipeline using open-source big data tools which minimize the latency to process data streams. Our proposed data processing pipeline is based on Apache Kafka for data ingestion, Apache Spark for in-memory data processing, Apache Cassandra for storing processed results, and D3 JavaScript library for visualization. We evaluate the effectiveness of the proposed pipeline under varying deployment scenarios to perform sentiment analysis using Twitter dataset. Our experimental evaluations show less than a minute latency to process $466,700$ Tweets in $10.7$ minutes when three virtual machines allocated to the proposed pipeline.

研究动机与目标

• 设计并评估一种低延迟、可扩展的实时文本分析流水线，用于高速度数据流。
• 解决在处理来自社交媒体等来源的大规模文本数据的大数据系统中最小化处理延迟的挑战。
• 展示开源工具在构建完整、端到端实时处理流水线用于情感分析方面的有效性。
• 在不同集群配置和资源分配下评估系统性能。

提出的方法

• 使用Apache Kafka作为分布式消息系统，从Twitter流媒体API实现高吞吐量、低延迟的数据摄取。
• 采用Apache Spark Streaming及其内存处理引擎，对传入的推文流执行实时情感分类。
• 通过第三方连接器将Apache Cassandra集成，用于长期分析持久化处理后的情感结果。
• 使用D3.js库开发基于Node.js的可视化组件，以显示实时情感趋势。
• 在使用OpenNebula的私有云上部署流水线，通过1至3台虚拟机进行扩展，以评估性能。
• 使用Kafka生产者在10分钟间隔内生成一致的工作负载，以模拟Twitter数据摄取。

实验结果

研究问题

• RQ1 在分布式大数据流水线中，随着集群规模增加，实时文本处理的延迟如何变化？
• RQ2 基于开源工具在普通硬件上构建的情感分析流水线的吞吐量和端到端处理延迟是多少？
• RQ3 Apache Spark Streaming结合内存处理能否实现大规模推文流分析的近实时性能？
• RQ4 资源分配（虚拟机数量）如何影响流水线的速度提升和可扩展性？

主要发现

• 当在三台虚拟机上部署时，流水线处理466,700条推文耗时10.7分钟，延迟仅为0.7分钟（41秒）。
• 处理时间从实验1的15.0分钟减少到实验3的10.7分钟，与单台虚拟机基线相比实现了140%的速度提升。
• 随着集群规模增加，系统吞吐量也相应提升，在实验2中处理了468,600条推文，在实验3中处理了466,700条推文，显示出良好的可扩展性。
• 三台虚拟机的分布式部署将端到端延迟降低至一分钟以内，表明具备近实时处理能力。
• 随着资源增加，性能持续提升，证实了该流水线架构的可扩展性。