[论文解读] Progressive Data Science: Potential and Challenges

Çağatay Turkay, Nicola Pezzotti+8 more|arXiv (Cornell University)|Dec 19, 2018

Data Stream Mining Techniques参考文献 80被引用 26

一句话总结

本文提出了一种名为渐进式数据科学的新范式，通过实时提供逐步优化的近似结果，加速迭代式数据科学流程。通过允许用户早期介入中间输出，该范式使数据科学家能够检测错误、优化决策，并加速在数据选择、预处理、转换和挖掘等阶段的探索工作，显著减少试错工作所耗费的时间。

ABSTRACT

Data science requires time-consuming iterative manual activities. In particular, activities such as data selection, preprocessing, transformation, and mining, highly depend on iterative trial-and-error processes that could be sped-up significantly by providing quick feedback on the impact of changes. The idea of progressive data science is to compute the results of changes in a progressive manner, returning a first approximation of results quickly and allow iterative refinements until converging to a final result. Enabling the user to interact with the intermediate results allows an early detection of erroneous or suboptimal choices, the guided definition of modifications to the pipeline and their quick assessment. In this paper, we discuss the progressiveness challenges arising in different steps of the data science pipeline. We describe how changes in each step of the pipeline impact the subsequent steps and outline why progressive data science will help to make the process more effective. Computing progressive approximations of outcomes resulting from changes creates numerous research challenges, especially if the changes are made in the early steps of the pipeline. We discuss these challenges and outline first steps towards progressiveness, which, we argue, will ultimately help to significantly speed-up the overall data science process.

研究动机与目标

• 解决传统数据科学工作流程耗时且迭代频繁的问题，其中数据清洗和模型调优占分析师时间的50%以上。
• 通过在KDD流程的所有阶段引入渐进性，克服批处理的局限性。
• 实现交互式、人机协同的数据科学，使分析师能够基于近似结果早期评估并优化决策。
• 识别并解决使传统非迭代算法（如聚类、学习）实现渐进化的研究挑战。
• 推动范式转变，使人类专业知识成为核心，从而增强模型的可信度和可解释性。

提出的方法

• 提出一种渐进式计算模型，能够快速返回结果的首次近似值，并通过迭代逐步优化。
• 将渐进式反馈机制集成到KDD流程的所有阶段：数据选择、预处理、转换和挖掘。
• 通过允许分析师基于早期结果修改决策（如距离度量、清洗规则），支持交互式探索。
• 利用数据库、机器学习和可视化领域已有的渐进式技术作为基础组件。
• 设计系统以在多个并行计算流（收敛速率各异）中维护分析溯源性。
• 开发新型交互隐喻和不确定性表达方法，以支持在渐进式环境中用户的决策制定。

实验结果

研究问题

• RQ1 如何将渐进式计算整合到数据科学流程的所有阶段，以减少试错工作所耗费的时间？
• RQ2 使传统批处理算法（如聚类、模型训练）实现渐进化面临哪些关键挑战？
• RQ3 如何对中间结果的质量和进展程度进行定量评估，以支持可靠的用户决策？
• RQ4 哪些交互技术与隐喻在引导分析师完成渐进式数据科学工作流程方面最为有效？
• RQ5 如何在多个并发、逐步收敛的计算路径之间管理分析溯源性？

主要发现

• 渐进式数据科学通过在数秒内返回近似结果，使用户能够早期发现次优选择（如聚类中无效的距离度量），避免数小时的无效计算。
• 该方法允许分析师基于后期阶段（如聚类）的洞察，回溯并优化早期步骤（如数据清洗），形成反馈回路，从而提升数据质量和模型性能。
• 并非所有任务都同样适合渐进式方法；例如，需要精确答案的任务（如MIN/MAX）可能无法从近似中获益，表明需要采用混合批处理-渐进式模型。
• 渐进式方法在涉及多种备选方案的探索性任务中尤为有效（如测试不同的距离函数），早期淘汰劣质选项可显著节省时间。
• 通过交互式反馈回路整合人类专业知识，可增强模型的可解释性和可信度，从而对抗自动化进程中缺乏人类监督的趋势。
• 在管理收敛速率不同的并行计算流，以及开发有效的渐进式分析过程溯源追踪方面，仍存在研究挑战。