[论文解读] Open Data Fabric: A Decentralized Data Exchange and Transformation Protocol With Complete Reproducibility and Provenance

Sergii Mikhtoniuk, Özge Nilay Yalçın|arXiv (Cornell University)|Nov 11, 2021

Scientific Computing and Data Management被引用 5

一句话总结

开放数据架构（ODF）是一种去中心化的协议，通过使用不可变数据集、确定性流处理和基于账本的元数据追踪，实现安全、可复现且可验证的数据交换与转换。它通过将数据视为流式计算图中的一等公民、可版本化且可组合的资产，实现端到端的数据溯源、低延迟数据传播以及无需信任的跨分布式数据发布者与消费者之间的协作。

ABSTRACT

Data is the most powerful decision-making tool at our disposal. However, despite the exponentially growing volumes of data generated in the world, putting it to effective use still presents many challenges. Relevant data seems to be never there when it is needed - it remains siloed, hard to find, hard to access, outdated, and of bad quality. As a result, governments, institutions, and businesses remain largely impaired in their ability to make data-driven decisions. At the same time, data science is undergoing a reproducibility crisis. The results of the vast majority of studies cannot be replicated by other researchers, and provenance often cannot be established, even for data used in medical studies that affect lives of millions. We are losing our ability to collaborate at a time when significant improvements to data are badly needed. We believe that the fundamental reason lies in the modern data management processes being entirely at odds with the basic principles of collaboration and trust. Our field needs a fundamental shift of approach in how data is viewed, how it is shared and transformed. We must transition away from treating data as static, from exchanging it as anemic binary blobs, and instead focus on making multi-party data management more sustainable: such as reproducibility, verifiability, provenance, autonomy, and low latency. In this paper, we present the Open Data Fabric, a new decentralized data exchange and transformation protocol designed from the ground up to simplify data management and enable collaboration around data on a similar scale as currently seen in open-source software.

研究动机与目标

• 通过支持可验证、可追溯且确定性的数据转换，解决数据科学中的可复现性危机。
• 通过实现实时、去中心化的跨机构和发布者间数据共享，消除数据孤岛，提升数据流动性。
• 建立无需依赖中心化权威机构的无信任、去中心化数据协作基础设施。
• 通过可验证的元数据和溯源追踪，实现数据发布者与消费者之间的反馈闭环。
• 通过确保所有转换过程均为确定性且完全可审计，使数据重用更加高效可靠。

提出的方法

• ODF 使用根数据集作为不可变的、事实来源的数据输入，通过密码学哈希保证完整性与版本控制。
• 衍生数据集通过确定性、有状态的流处理管道生成，完整保留数据血缘与溯源信息。
• 元数据链由协调组件管理，强制执行事务完整性，并确保在分布式引擎间的一致性。
• 通过水印和检查点管理时间状态，确保事件流处理中的正确性，水印可自动传播至转换过程。
• 处理引擎与协调器解耦，可为任何标准流处理框架，通过标准化的ODF引擎接口封装。
• 系统采用基于账本的元数据模型，确保所有数据集转换均可被密码学验证与审计。

实验结果

研究问题

• RQ1 在无中心化权威机构的情况下，如何在去中心化数据工作流中保证数据溯源与可复现性？
• RQ2 何种架构模式可实现跨分布式数据发布者与消费者之间的低延迟、高保真数据传播？
• RQ3 如何将确定性、有状态的流处理与不可变数据制品集成，以确保可验证性与可信度？
• RQ4 何种机制可实现数据消费者与发布者之间的反馈闭环，以提升数据质量与时效性？
• RQ5 如何使跨异构系统与组织的数据转换管道实现完全可审计且可组合？

主要发现

• 通过强制执行确定性处理与不可变数据集制品，ODF 实现了数据转换的完全可复现性，确保任何结果均可从相同输入重新执行并获得完全一致的结果。
• 通过使用水印与检查点，确保了流处理的正确性，防止延迟数据污染有状态计算，并支持从故障中恢复而无需从头开始重新计算。
• 通过协调器管理元数据链，确保所有血缘、模式变更与转换逻辑均可被密码学审计，从而保障元数据完整性。
• 通过将数据处理与元数据管理解耦，并支持流处理引擎的并行、分布式执行，该协议实现了低延迟的实时数据传播。
• 通过将数据视为可组合、可版本化且可验证的资产，ODF 显著减少了验证与信任数据集的时间与工作量，大幅提升数据重用与协作效率。
• 该系统实现了无需依赖中心化权威机构的端到端数据可信性，适用于公共卫生与科研等高风险领域。