[论文解读] Towards Avoiding the Data Mess: Industry Insights from Data Mesh Implementations

Jan Bode, Niklas Kühl+3 more|arXiv (Cornell University)|Feb 3, 2023

Data Quality and Management被引用 7

一句话总结

本文基于对15位行业专家的实证访谈，提供了关于数据网格实施的实践经验洞察，识别出联邦治理和组织阻力等关键挑战，并提出了六项实施策略（如跨领域指导小组和小型专职团队），以及两种组织范式（初创/成长型企业和成熟组织），以指导实际落地。研究证实了早期效益，如数据质量、可访问性和信任度的提升，为组织向数据网格转型提供了理论驱动、可操作的指导建议。

ABSTRACT

With the increasing importance of data and artificial intelligence, organizations strive to become more data-driven. However, current data architectures are not necessarily designed to keep up with the scale and scope of data and analytics use cases. In fact, existing architectures often fail to deliver the promised value associated with them. Data mesh is a socio-technical, decentralized, distributed concept for enterprise data management. As the concept of data mesh is still novel, it lacks empirical insights from the field. Specifically, an understanding of the motivational factors for introducing data mesh, the associated challenges, implementation strategies, its business impact, and potential archetypes is missing. To address this gap, we conduct 15 semi-structured interviews with industry experts. Our results show, among other insights, that organizations have difficulties with the transition toward federated governance associated with the data mesh concept, the shift of responsibility for the development, provision, and maintenance of data products, and the comprehension of the overall concept. In our work, we derive multiple implementation strategies and suggest organizations introduce a cross-domain steering unit, observe the data product usage, create quick wins in the early phases, and favor small dedicated teams that prioritize data products. While we acknowledge that organizations need to apply implementation strategies according to their individual needs, we also deduct two archetypes that provide suggestions in more detail. Our findings synthesize insights from industry experts and provide researchers and professionals with preliminary guidelines for the successful adoption of data mesh.

研究动机与目标

• 为解决数据网格实施领域缺乏实证研究的问题，探索不同行业在现实世界中的实施动机、挑战与影响。
• 识别并验证支持成功数据网格转型的实施策略，尤其聚焦于去中心化治理与数据产品所有权。
• 提出两种组织范式——初创/成长型企业（A1）与成熟组织（A2）——以反映不同的实施情境与需求，为数据网格实施提供定制化指导。
• 为研究人员和从业者提供可操作、理论基础扎实的指导建议，重点关注社会技术维度，而非技术架构细节。

提出的方法

• 对来自不同行业的15位专业人士开展半结构化专家访谈，收集关于数据网格实施的定性洞察。
• 采用主题分析法，从访谈记录中识别出重复出现的挑战、动机、实施策略与业务影响。
• 基于识别出的挑战，推导出六项实施策略（IS1–IS6），例如引入跨领域指导小组、优先采用小型专职团队等。
• 提出两种组织范式——初创/成长型企业（A1）与成熟组织（A2）——以反映不同的实施背景与需求。
• 将研究发现与现有理论框架（特别是Dehghani, 2022年提出的数据网格原则）进行比对，确保概念一致性。
• 聚焦社会技术层面，不涉及详细技术实现，技术架构相关细节参考外部技术指南。

实验结果

研究问题

• RQ1 推动组织采纳数据网格的主要动机因素是什么？
• RQ2 组织在数据网格实施过程中面临的主要挑战是什么，特别是在治理与组织变革方面？
• RQ3 在不同组织背景下，哪些实施策略最能有效支持数据网格的成功采纳？
• RQ4 数据网格在实施初期阶段产生了哪些可衡量的业务影响？
• RQ5 从数据网格采纳中涌现出哪些组织范式？它们如何为定制化实施路径提供指导？

主要发现

• 组织在向联邦治理转型时面临显著挑战，包括数据所有权责任的转移，以及对数据网格概念全貌的理解不足。
• 跨领域指导小组（IS1）在协调去中心化努力、确保战略一致性方面至关重要。
• 观察数据产品的使用情况（IS2）有助于优先安排开发工作、提升质量，并维持各领域团队的持续动力。
• 通过前期评估的有意识采纳（IS4）至关重要，可避免因炒作而做出决策，并确保组织具备实施准备度。
• 在资源受限的情况下，小型专职团队（IS5）在数据产品开发方面比大型集中化团队更有效。
• 早期影响包括：数据可访问性提升（I1）、分析速度加快（I2）、数据质量提高（I3）、冗余减少（I4），以及组织信任度提升、数据驱动决策增强（I5–I8）