[论文解读] Prior knowledge elicitation: The past, present, and future

Petrus Mikkola, Osvaldo A. Martin+10 more|arXiv (Cornell University)|Dec 1, 2021

Bayesian Modeling and Causal Inference被引用 16

一句话总结

本文提出了一项全面的研究议程，旨在将先验获取转变为贝叶斯工作流程中的常规、高效且集成的组成部分。它倡导使用与模型无关的模块化软件工具、主动获取策略以及层次先验，以简化专家知识的整合，最终减少对临时先验的依赖，并加速其在科学和工业界的采用。

ABSTRACT

Specification of the prior distribution for a Bayesian model is a central part of the Bayesian workflow for data analysis, but it is often difficult even for statistical experts. In principle, prior elicitation transforms domain knowledge of various kinds into well-defined prior distributions, and offers a solution to the prior specification problem. In practice, however, we are still fairly far from having usable prior elicitation tools that could significantly influence the way we build probabilistic models in academia and industry. We lack elicitation methods that integrate well into the Bayesian workflow and perform elicitation efficiently in terms of costs of time and effort. We even lack a comprehensive theoretical framework for understanding different facets of the prior elicitation problem. Why are we not widely using prior elicitation? We analyse the state of the art by identifying a range of key aspects of prior knowledge elicitation, from properties of the modelling task and the nature of the priors to the form of interaction with the expert. The existing prior elicitation literature is reviewed and categorized in these terms. This allows recognizing under-studied directions in prior elicitation research, finally leading to a proposal of several new avenues to improve prior elicitation methodology.

研究动机与目标

• 通过识别方法论和工具链中的关键缺口，解决尽管历经数十年研究，先验获取在实际中仍应用有限的问题。
• 通过开发实用、用户友好的工具，实现与贝叶斯工作流程的集成，克服当前对临时先验指定的依赖。
• 通过与模型无关的设计、主动学习策略和模块化软件架构，提升先验获取的效率和可用性。
• 通过创建具有高影响力、真实世界的应用案例，展示先验获取在复杂、具有社会相关性的应用中的价值，推动更广泛的采用。
• 建立评估框架，以可行的成本和明确的性能指标，比较和验证新的获取方法。

提出的方法

• 提出一个研究超立方体框架，系统地从获取空间、与模型无关性以及评估任务等维度对先验获取进行分类。
• 倡导软件模块化，基于现有的开源库（如 ArviZ、ggdist 和 Bayesplot）构建，以确保互操作性并减少重复开发。
• 优先考虑与模型无关的获取（D2），以实现在不同概率模型间的复用，并在模型演化时降低重新获取的成本。
• 整合主动获取策略，以最小化专家工作量，同时最大化信息增益，与迭代式建模工作流保持一致。
• 设计更易获取的层次先验结构，而非多变量先验，以减轻领域专家的认知负担。
• 开发一个共享测试平台，用于在多样化建模场景中评估获取方法，实现系统性比较与验证。

实验结果

研究问题

• RQ1 哪些关键瓶颈阻碍了先验获取在常规贝叶斯建模工作流中的集成？
• RQ2 如何使先验获取方法与模型无关，并可在不同概率模型和领域间复用？
• RQ3 哪些获取策略（如主动、顺序）能在最小化专家工作量的同时，最大化信息增益和模型准确性？
• RQ4 何种软件架构和模块化原则能够实现新获取算法的快速原型设计、评估与部署？
• RQ5 如何设计具有说服力的真实世界用例，以清晰展示先验获取在鲁棒性、成本降低或模型性能提升方面的价值？

主要发现

• 尽管历经数十年研究，先验获取在实践中仍被严重低估，主要原因是缺乏集成化、用户友好的工具和方法论框架。
• 现有工具如 SHELF 和 makemyprior 的采用率有限，表明亟需更广泛的软件集成和可用性改进。
• 与模型无关且模块化的软件设计对于实现复用、降低开发成本、加速获取方法的创新至关重要。
• 能最小化专家工作量同时最大化信息增益的主动获取策略，对在迭代建模工作流中的采纳至关重要。
• 开发一个用于评估获取方法的共享测试平台，可显著提升在多样化应用中对方法的比较与验证能力。
• 具有高影响力的真实世界案例，能清晰展示成本降低或鲁棒性提升等实际效益，可推动对先验获取研究的更广泛兴趣与资金支持。