[论文解读] Role of Apache Software Foundation in Big Data Projects

Aleem Akhtar|arXiv (Cornell University)|May 5, 2020

Cloud Computing and Resource Management参考文献 16被引用 4

一句话总结

本文通过分析 Apache 软件基金会（ASF）的 350 多个开源项目，特别是其 Big Data 类别下的项目，研究了 ASF 在推动大数据技术发展中的作用。研究识别出七个子类别——框架、工具、编程模型、数据管理、库、数据库和数据处理——并发现尽管许多项目独立运行，但也有大量项目相互集成或彼此依赖，从而构建了一个稳健且协作的生态系统，推动了大数据领域的创新。

ABSTRACT

With the increase in amount of Big Data being generated each year, tools and technologies developed and used for the purpose of storing, processing and analyzing Big Data has also improved. Open-Source software has been an important factor in the success and innovation in the field of Big Data while Apache Software Foundation (ASF) has played a crucial role in this success and innovation by providing a number of state-of-the-art projects, free and open to the public. ASF has classified its project in different categories. In this report, projects listed under Big Data category are deeply analyzed and discussed with reference to one-of-the seven sub-categories defined. Our investigation has shown that many of the Apache Big Data projects are autonomous but some are built based on other Apache projects and some work in conjunction with other projects to improve and ease development in Big Data space.

研究动机与目标

• 调查 Apache 软件基金会（ASF）在大数据项目开发与治理中的结构与功能角色。
• 根据技术子类别（如框架、数据处理和数据库）对 Apache 大数据项目进行分类与分析。
• 理解 Apache 大数据项目之间的依赖关系与协作机制。
• 评估 ASF 的开源模式如何在大数据领域促进创新、可扩展性及社区驱动的开发。

提出的方法

• 系统性分析 ASF 官方项目列表中 'Big Data' 类别下的项目，重点关注自 2008 年以来托管的项目。
• 将项目划分为七个子类别：框架、工具、编程模型、大数据管理、库、数据库/数据格式和数据处理。
• 研究项目之间的依赖关系，包括依赖或扩展其他 Apache 项目服务的项目。
• 利用 ASF 项目孵化及委员会发展历史的时间线数据（1995–2019），分析项目演化过程。
• 使用 ASF 官网及项目元数据中的数据，分析编程语言分布与项目类别。
• 评估社区与贡献动态，包括贡献者数量、代码库规模及用户参与度指标。

实验结果

研究问题

• RQ1 Apache 大数据项目如何分类？其生态系统中占主导地位的技术子类别是什么？
• RQ2 Apache 大数据项目在多大程度上独立运行，又在多大程度上通过集成或服务复用实现相互依赖？
• RQ3 Apache 软件基金会的治理模式在促进大数据项目间协作与创新方面发挥了何种作用？
• RQ4 从项目数量、编程语言使用和社区参与度来看，Apache 大数据项目生态系统在过去如何演变？

主要发现

• Apache 软件基金会托管了超过 350 个开源项目，代码量超过 2,000 万行，近 7,000 名提交者，形成了高度活跃且可扩展的开发生态系统。
• Java 是 Apache 项目的主导语言，在 58% 的大数据项目中使用，且许多项目（如 Apache Spark）也支持 Scala 和 Python 等多语言。
• 大多数 Apache 大数据项目属于框架、工具和数据处理子类别，表明其在数据管道与计算基础设施方面有强烈聚焦。
• 许多项目存在相互依赖：部分项目基于或扩展其他 Apache 项目的服务，从而增强了生态系统的模块化与可重用性。
• Apache 孵化器项目自 1995 年以来已推动超过 350 个项目的成长，2019 年底最新成立的委员会项目为 Apache Druid，体现了持续的增长态势。
• Apache 项目被广泛采用，从 Apache 镜像下载量超过 900 万次，ASF 官网每周页面浏览量达 3,000 万次，表明其在全球范围内的广泛使用与高度信任。