[论文解读] Taming the zoo - about algorithms implementation in the ecosystem of Apache Hadoop

Piotr Jan Dendek, Artur Czeczko+4 more|arXiv (Cornell University)|Mar 21, 2013

Data Quality and Management参考文献 20被引用 3

一句话总结

本文提出 CoAnSys，一种基于 Hadoop 的框架，用于大规模科学出版物文本挖掘，实现了适用于 MapReduce 的引用匹配、文档相似性和分类算法。通过使用 HDFS、HBase、Pig 和 Oozie 的优化工作流，该框架展示了高效的海量数据处理能力，实现了从科学文献中可扩展且模块化的知识提取。

ABSTRACT

Content Analysis System (CoAnSys) is a research framework for mining scientific publications using Apache Hadoop. This article describes the algorithms currently implemented in CoAnSys including classification, categorization and citation matching of scientific publications. The size of the input data classifies these algorithms in the range of big data problems, which can be efficiently solved on Hadoop clusters.

研究动机与目标

• 解决使用可扩展数据挖掘技术处理大规模科学出版物数据集的挑战。
• 设计一个模块化、可重用的框架，用于在 Apache Hadoop 生态系统中实现大数据文本挖掘算法。
• 通过高效的序列化、存储和工作流管理，优化 Hadoop 工作流中的性能和资源利用率。
• 使研究人员能够使用标准化的 I/O 接口和工作流编排，实现并串联复杂的转换操作。
• 分享在真实世界科学数据管道中基于 MapReduce 的文本挖掘的实际实现模式和最佳实践。

提出的方法

• 利用 Apache Hadoop 和 MapReduce 模型，将文本挖掘工作负载分发并并行化处理于集群中。
• 使用 Protocol Buffers 对模块和存储层之间的数据进行紧凑、可扩展的序列化。
• 将输入数据以 HDFS SequenceFiles 形式存储，以实现高性能 I/O；通过 REST 将输出结果存储在 HBase 中，实现持久访问。
• 使用 Java、Pig 或 Scala 实现 MapReduce 作业，以执行引用匹配、文档相似性和分类等算法。
• 通过预计算 TF-IDF、在 Pig 中使用复制连接、倾斜连接或合并连接，以及最小化中间数据洗牌，优化数据传输和内存使用。
• 使用 Apache Oozie 进行工作流编排，串联数据处理管道，确保可重现性和执行跟踪。

实验结果

研究问题

• RQ1 如何在 Hadoop 集群中使用 MapReduce 模型高效地实现大规模引用匹配？
• RQ2 在文档相似性和分类工作流中存在哪些性能瓶颈？在大数据环境中如何缓解这些瓶颈？
• RQ3 在大规模文本挖掘工作流中，哪些数据存储和序列化策略（HDFS 与 HBase，Protocol Buffers）能实现最佳性能？
• RQ4 工作流管理工具（如 Apache Oozie）如何提升 Hadoop 中复杂数据处理管道的可靠性和可维护性？
• RQ5 哪些关键的实现模式和优化技术能够实现 Hadoop 上文本挖掘算法的高效执行？

主要发现

• CoAnSys 框架成功实现了基于 Hadoop 的科学出版物数据可扩展处理，引用匹配和文档分类等算法在大规模数据集上实现了高吞吐量。
• 与使用 HBase 存储中间数据相比，使用 HDFS SequenceFiles 存储中间数据显著提升了性能，并避免了高负载下因超时导致的任务失败链。
• Protocol Buffer 序列化实现了高效、可扩展且类型安全的数据交换，提升了数据完整性并减少了 I/O 开销。
• 通过优化操作顺序（如预计算 TF-IDF 和尽早分组数据转换），减少了数据传输，提升了整体工作流效率。
• Apache Oozie 在工作流管理方面优于 Bash 或 Python 等脚本替代方案，因其具备内置的执行跟踪、持久化支持以及与 Hadoop 的原生集成。
• Pig 中的专用连接类型（如复制连接、倾斜连接、合并连接）在连接大数据集与较小参考集时显著提升了性能。