[论文解读] Trust in Data Science: Collaboration, Translation, and Accountability in Corporate Data Science Projects

Samir Passi, Steven J. Jackson|arXiv (Cornell University)|Feb 9, 2020

Research Data Management Practices参考文献 96被引用 62

一句话总结

该论文分析了信任在现实世界企业数据科学工作中如何建立和协商，强调在数据和模型存在冲突时的协作、翻译和问责。

ABSTRACT

The trustworthiness of data science systems in applied and real-world settings emerges from the resolution of specific tensions through situated, pragmatic, and ongoing forms of work. Drawing on research in CSCW, critical data studies, and history and sociology of science, and six months of immersive ethnographic fieldwork with a corporate data science team, we describe four common tensions in applied data science work: (un)equivocal numbers, (counter)intuitive knowledge, (in)credible data, and (in)scrutable models. We show how organizational actors establish and re-negotiate trust under messy and uncertain analytic conditions through practices of skepticism, assessment, and credibility. Highlighting the collaborative and heterogeneous nature of real-world data science, we show how the management of trust in applied corporate data science settings depends not only on pre-processing and quantification, but also on negotiation and translation. We conclude by discussing the implications of our findings for data science research and practice, both within and beyond CSCW.

研究动机与目标

• 研究在企业团队中的应用数据科学中，信任性如何显现。
• 识别挑战信任的张力：模棱两可的数据、反直觉的知识、可信的数据以及难以理解的模型。
• 考察在协商信任过程中的怀疑、评估与可信度实践。
• 强调在混乱的分析情境中，协作与翻译在管理信任中的作用。

提出的方法

• 对一家企业数据科学团队进行为期六个月的民族志田野研究。
• 取自CSCW、批判性数据研究，以及科学史/社会学的理论框架。
• 对围绕数据和模型的分布式、实际工作进行定性分析。
• 在组织环境中对日常信任实践——怀疑、评估与可信度——的考察。

实验结果

研究问题

• RQ1 在企业数据科学中，哪些张力（数字、知识、数据可信度、模型不透明性）会影响信任？
• RQ2 在不确定的分析条件下，组织参与者如何建立和重新谈判信任？
• RQ3 哪些实践（怀疑、评估、可信度）在数据科学工作中支持或阻碍信任？
• RQ4 协作和翻译如何影响企业数据科学项目中的信任管理？

主要发现

• 应用数据科学中的可信性来自持续的、情境化的工作，通过实际协商来解决张力。
• 信任管理不仅取决于数据预处理和量化；它依赖于跨参与者的协作过程与翻译。
• 怀疑、评估和可信度实践是重新谈判信任以应对混乱分析条件的核心。
• 数据科学的协作性和异质性是企业环境中建立信任的关键资源。