[论文解读] Workshop on Quantification, Communication, and Interpretation of Uncertainty in Simulation and Data Science

Ross Whitaker, William B. Thompson+8 more|arXiv (Cornell University)|Apr 27, 2020

Data Visualization and Analytics参考文献 48被引用 4

一句话总结

本工作坊报告识别出在模拟与数据科学中对不确定性的量化、传达与解读方面存在关键缺口。报告提出一个跨四个领域——大规模模拟不确定性、数据科学不确定性、不确定性计算的软件支持以及利益相关者沟通——的协调研究议程，强调通过整合性、跨学科的方法，提升数据驱动领域决策的可靠性。

ABSTRACT

Modern science, technology, and politics are all permeated by data that comes from people, measurements, or computational processes. While this data is often incomplete, corrupt, or lacking in sufficient accuracy and precision, explicit consideration of uncertainty is rarely part of the computational and decision making pipeline. The CCC Workshop on Quantification, Communication, and Interpretation of Uncertainty in Simulation and Data Science explored this problem, identifying significant shortcomings in the ways we currently process, present, and interpret uncertain data. Specific recommendations on a research agenda for the future were made in four areas: uncertainty quantification in large-scale computational simulations, uncertainty quantification in data science, software support for uncertainty computation, and better integration of uncertainty quantification and communication to stakeholders.

研究动机与目标

• 解决科学、技术与政策领域中计算与决策流程普遍缺乏显式不确定性处理的问题。
• 识别当前在处理、展示与解读模拟与数据科学中不确定数据方面的系统性缺陷。
• 制定全面的研究议程，以推进大规模计算系统与数据驱动应用中的不确定性量化（UQ）与沟通。
• 促进将UQ方法与利益相关者需求更好地整合，以提升现实场景中透明度与决策质量。
• 加强软件基础设施，以支持数据与模拟工作流中稳健、可扩展且可访问的不确定性计算。

提出的方法

• 在计算社区委员会（CCC）框架下召集多学科工作坊，评估当前的UQ实践与挑战。
• 综合统计学、计算机科学、数据科学与领域科学专家的见解，识别关键研究缺口。
• 在四个主题领域提出建议：大规模模拟中的UQ、数据科学中的UQ、不确定性计算的软件支持以及利益相关者沟通。
• 强调需要标准化、可扩展的软件工具，原生支持不确定性表示与传播。
• 倡导将不确定性沟通整合至可视化、报告与决策支持系统中。
• 提出一个框架，以协调技术性UQ方法与人类认知及利益相关者决策需求。

实验结果

研究问题

• RQ1 当前在大规模计算模拟中不确定性量化的方法存在哪些主要缺陷？
• RQ2 如何系统性地量化并传达数据科学工作流中的不确定性，以使非专家利益相关者能够理解？
• RQ3 需要何种软件架构与工具，以实现可扩展、可靠且用户可访问的不确定性计算？
• RQ4 如何改进不确定性沟通，以增强科学、政策与工业领域中的决策质量？
• RQ5 需要哪些跨学科研究路径，以弥合技术性UQ方法与实际利益相关者需求之间的差距？

主要发现

• 当前的计算与决策流程通常忽略或未能充分表示不确定性，导致对结果产生过度自信。
• 在模拟与数据科学工作流中，缺乏标准化、可互操作的不确定性计算软件工具。
• 由于沟通实践不佳，利益相关者（包括政策制定者与领域专家）往往无法获取或理解不确定性信息。
• 不确定性量化与可视化及决策支持系统的整合仍不充分且不一致。
• 必须通过协调一致的跨学科研究议程，才能在模拟、数据科学、软件与沟通领域推进UQ的发展。
• 工作坊确立了基础性研究路线图，并为四个关键领域中的未来工作提出了具体建议。