[论文解读] ProvDB: A System for Lifecycle Management of Collaborative Analysis Workflows

Hui Miao, Amit Chavan+1 more|arXiv (Cornell University)|Oct 17, 2016

Scientific Computing and Data Management参考文献 29被引用 4

一句话总结

ProvDB 是一个用于管理数据科学工作流的血缘与元数据系统，通过统一、可查询的方式捕获和分析细粒度的血缘与元数据，实现对协作式数据科学工作流的全生命周期管理。基于 Git 和 Neo4j 构建，它支持版本血缘追踪、工作流血缘、流水线推理以及持续监控，显著减少了调试时间，提升了数据科学工作流的可重现性与可 introspection 性。

ABSTRACT

As data-driven methods are becoming pervasive in a wide variety of disciplines, there is an urgent need to develop scalable and sustainable tools to simplify the process of data science, to make it easier to keep track of the analyses being performed and datasets being generated, and to enable introspection of the workflows. In this paper, we describe our vision of a unified provenance and metadata management system to support lifecycle management of complex collaborative data science workflows. We argue that a large amount of information about the analysis processes and data artifacts can, and should be, captured in a semi-passive manner; and we show that querying and analyzing this information can not only simplify bookkeeping and debugging tasks for data analysts but can also enable a rich new set of capabilities like identifying flaws in the data science process itself. It can also significantly reduce the time spent in fixing post-deployment problems through automated analysis and monitoring. We have implemented an initial prototype of our system, called ProvDB, on top of git (a version control system) and Neo4j (a graph database), and we describe its key features and capabilities.

研究动机与目标

• 解决在协作式、临时性数据科学工作流中，缺乏可扩展、统一的血缘与元数据管理系统的挑战。
• 减少在不断演化的数据科学项目中，对数据集、脚本、参数和依赖项进行手动记录和易出错追踪的负担。
• 通过以半主动、模式延迟的方式捕获和分析细粒度血缘信息，实现对工作流的可 introspection 性、调试与异常检测。
• 通过提供丰富、可查询的血缘与依赖信息，支持可重现性、透明性与伦理数据科学。
• 通过支持工作流与衍生产物的浏览、比较与复用，简化协作与知识共享。

提出的方法

• 采用模式延迟方法，将任意半结构化元数据（例如 JSON 格式）与核心血缘及产物关系的固定基础模式一同存储。
• 利用 Git 管理数据、脚本和结果的版本控制，使用 Neo4j 作为图数据库，将产物、派生关系与依赖建模为血缘图。
• 通过摄入模块自动提取并存储分析输出和配置文件中的属性（例如训练损失、准确率、超参数）。
• 使用 Neo4j 中的 Cypher 查询语言实现基于查询的 introspection 性，用于比较产物、追踪派生路径，并分析跨版本的变化。
• 提供基于 Web 的图形界面，支持浏览工作流、对比产物以及使用内置绘图工具可视化属性随时间的变化。
• 实现监控与告警子系统，通过持续查询执行，检测数据属性或模型性能中的异常变化。

实验结果

研究问题

• RQ1 如何以可扩展、可扩展的方式，从多样化、非结构化的数据科学工作流中捕获并统一血缘与元数据？
• RQ2 被动式、半结构化的血缘捕获在多大程度上能减少手动追踪的开销，并提升协作式数据科学中的调试效率？
• RQ3 统一的血缘分析是否能够实现对机器学习流水线中数据泄露或模型漂移等缺陷的早期检测？
• RQ4 如何利用血缘数据支持团队间可复用、可审计、可重现的数据科学工作流？
• RQ5 哪些机制能够通过可查询的血缘图，实现对复杂、持续演化的数据科学流水线的有效推理？

主要发现

• ProvDB 通过血缘查询实现模型性能与超参数配置的自动化比较，显著减少了调试与记录工作的时间。
• 该系统允许用户通过内置的绘图与差异对比工具，直观检查不同版本间模型训练行为（如损失曲线与准确率曲线）的差异。
• 通过捕获与分析血缘信息，ProvDB 能够检测出细微问题，例如尽管最终收敛但初始训练性能较差的情况，这可能暗示超参数配置不当。
• 原型表明，即使功能有限，基于血缘的 introspection 性也能显著简化对复杂工作流的理解，例如在计算机视觉任务中训练 41 个深度神经网络。
• Git 与 Neo4j 的集成实现了版本化血缘追踪与产物依赖的高效查询，支持可重现性与流水线复用。
• 监控子系统通过追踪快照间关键属性的变化，能够早期检测出部署模型中的分布偏移或性能退化。