[论文解读] The Art and Practice of Data Science Pipelines: A Comprehensive Study of Data Science Pipelines In Theory, In-The-Small, and In-The-Large

Sumon Biswas, Mohammad Wardat+1 more|arXiv (Cornell University)|Dec 2, 2021

Data Quality and Management被引用 9

一句话总结

本文对三种情境下的数据科学流水线进行了全面研究：理论框架、小规模实现（in-the-small）和大规模生产系统（in-the-large）。通过对71项理论提案、105个Kaggle流水线和21个GitHub项目的分析，作者识别出显著的结构性差异——尤其是小规模工作中缺乏数据存储和部署等关键阶段——并为每种情境提出了独特且上下文感知的表示方法，推动了实践与研究中数据科学流水线的设计与理解。

ABSTRACT

Increasingly larger number of software systems today are including data science components for descriptive, predictive, and prescriptive analytics. The collection of data science stages from acquisition, to cleaning/curation, to modeling, and so on are referred to as data science pipelines. To facilitate research and practice on data science pipelines, it is essential to understand their nature. What are the typical stages of a data science pipeline? How are they connected? Do the pipelines differ in the theoretical representations and that in the practice? Today we do not fully understand these architectural characteristics of data science pipelines. In this work, we present a three-pronged comprehensive study to answer this for the state-of-the-art, data science in-the-small, and data science in-the-large. Our study analyzes three datasets: a collection of 71 proposals for data science pipelines and related concepts in theory, a collection of over 105 implementations of curated data science pipelines from Kaggle competitions to understand data science in-the-small, and a collection of 21 mature data science projects from GitHub to understand data science in-the-large. Our study has led to three representations of data science pipelines that capture the essence of our subjects in theory, in-the-small, and in-the-large.

研究动机与目标

• 理解理论框架、小规模实现和大规模生产系统中数据科学流水线的架构特征。
• 识别理论流水线模型与其在真实世界数据科学工作流中实际实现之间的差异。
• 研究不同开发规模（in-the-small 与 in-the-large）下流水线阶段、组织结构和特征的变化。
• 提供可操作的、上下文感知的数据科学流水线表示方法，以指导研究与工业界中的更好设计与实现。
• 弥合理论数据科学生命周期模型与软件工程实践中实际应用之间的差距。

提出的方法

• 系统分析了来自学术文献的71项理论数据科学流水线提案，以提取并分类常见阶段与模式。
• 收集并分析了105个Kaggle竞赛中的数据科学流水线，研究in-the-small实现，重点关注单数据科学家工作流。
• 收集并分析了21个成熟的、团队开发的数据科学项目（来自GitHub），研究in-the-large生产系统。
• 采用比较性、多情境方法，识别三种情境下反复出现的阶段、组织结构和典型模式。
• 基于实证发现，开发了三种截然不同、上下文特定的数据科学流水线表示方法——分别对应理论、in-the-small和in-the-large情境。
• 应用结构化编码方案，对流水线阶段（如数据获取、建模、评估）进行映射，支持跨情境比较。

实验结果

研究问题

• RQ1 理论框架中的数据科学流水线核心阶段是什么？与真实世界实现中的阶段相比有何异同？
• RQ2 in-the-small（Kaggle）与in-the-large（GitHub）情境下，数据科学流水线的组织结构有何不同？
• RQ3 与理论模型相比，小规模数据科学工作流中哪些流水线阶段持续缺失或代表性不足？
• RQ4 在生产级系统与学术或竞赛环境之间，数据科学流水线的主导模式与特征有何差异？
• RQ5 在理论、小规模和大规模数据科学流水线中，数据准备、特征工程和部署的角色如何变化？

主要发现

• 在in-the-small流水线中，仅11个理论阶段中的6个（如数据获取、预处理、建模、评估、部署、监控）存在，其中数据存储和监控阶段尤为缺失。
• in-the-small流水线呈现出以线性结构为主的特点，强调数据探索与迭代原型设计，缺乏in-the-large系统中常见的模块化与可扩展组织结构。
• in-the-large项目展现出更复杂、非线性的流水线结构，具有明确的职责分离、版本控制和监控阶段，反映出生产级软件工程实践。
• 理论框架通常包含数据存储和模型监控等阶段，但在Kaggle实现中常被省略，表明理论与实践之间存在明显差距。
• 尽管理论界对建模和评估等阶段达成共识，但其在不同情境下的实现频率与形式存在显著差异，in-the-small流水线常合并或跳过某些阶段。
• 本研究发现，MLOps实践（如CI/CD、日志记录、模型版本控制）在in-the-large项目中系统性存在，但在in-the-small中基本缺失，凸显了数据科学工程成熟度的差距。