[论文解读] Statistical modeling: the three cultures

Adel Daoud, Devdatt Dubhashi|arXiv (Cornell University)|Dec 8, 2020

Data Analysis with R被引用 4

一句话总结

本文提出了混合建模文化（HMC），这是传统数据建模文化（DMC）与算法建模文化（AMC）的融合，将预测与推断相结合，以提升因果推断能力。通过将机器学习用于预测，同时结合统计推断，HMC打破了预测与解释之间的传统界限，从而在自然科学与社会科学的科学建模中提升了可靠性与有效性。

ABSTRACT

Two decades ago, Leo Breiman identified two cultures for statistical modeling. The data modeling culture (DMC) refers to practices aiming to conduct statistical inference on one or several quantities of interest. The algorithmic modeling culture (AMC) refers to practices defining a machine-learning (ML) procedure that generates accurate predictions about an event of interest. Breiman argued that statisticians should give more attention to AMC than to DMC, because of the strengths of ML in adapting to data. While twenty years later, DMC has lost some of its dominant role in statistics because of the data-science revolution, we observe that this culture is still the leading practice in the natural and social sciences. DMC is the modus operandi because of the influence of the established scientific method, called the hypothetico-deductive scientific method. Despite the incompatibilities of AMC with this scientific method, among some research groups, AMC and DMC cultures mix intensely. We argue that this mixing has formed a fertile spawning pool for a mutated culture that we called the hybrid modeling culture (HMC) where prediction and inference have fused into new procedures where they reinforce one another. This article identifies key characteristics of HMC, thereby facilitating the scientific endeavor and fueling the evolution of statistical cultures towards better practices. By better, we mean increasingly reliable, valid, and efficient statistical practices in analyzing causal relationships. In combining inference and prediction, the result of HMC is that the distinction between prediction and inference, taken to its limit, melts away. We qualify our melting-away argument by describing three HMC practices, where each practice captures an aspect of the scientific cycle, namely, ML for causal inference, ML for data acquisition, and ML for theory prediction.

研究动机与目标

• 解决科学研究所面临的传统统计推断（DMC）与现代机器学习预测（AMC）之间日益加剧的张力。
• 识别在数据科学与社会科学中，将预测与推断视为独立范式的局限性。
• 提出一种新的综合模式——混合建模文化（HMC），统一预测与推断，以实现更稳健的科学建模。
• 展示HMC如何支持完整的科学循环，包括因果推断、数据获取与理论预测。
• 倡导通过整合建模方法，转向更可靠、有效且高效的统计实践。

提出的方法

• 提出一个概念框架，识别出三种统计文化：数据建模文化（DMC）、算法建模文化（AMC）以及新定义的混合建模文化（HMC）。
• 分析DMC的历史与哲学根源，其根植于假说-演绎科学方法，并在自然科学与社会科学中占据主导地位。
• 考察AMC的兴起，其驱动力来自机器学习的预测能力及其对复杂数据的适应性，同时指出其与传统科学推断的不相容性。
• 提出HMC作为融合模式，使预测与推断不再分离，而是相互增强，尤其在因果建模中表现突出。
• 通过三个实际应用说明HMC：使用机器学习进行因果推断、使用机器学习进行数据获取、使用机器学习进行理论预测。
• 主张HMC通过将推断目标嵌入预测建模框架，消解了预测与推断之间僵化的界限。

实验结果

研究问题

• RQ1 如何在科学研究中实现机器学习预测与统计推断的有意义整合？
• RQ2 统一预测与推断的混合建模文化的关键特征是什么？
• RQ3 HMC在哪些方面能够提升数据科学中因果推断的可靠性与有效性？
• RQ4 HMC如何支持完整的科学循环，包括理论发展与数据收集？
• RQ5 在统计建模中，消解预测与推断之间传统边界的实际影响是什么？

主要发现

• 混合建模文化（HMC）源于数据建模文化（DMC）与算法建模文化（AMC）的融合，形成了一种新的统计建模范式。
• HMC使预测与推断能够相互强化，从而得出更稳健、更可靠的科学结论。
• 当预测与推断的界限被推向极致时，在HMC中会自然消解，因为两者均被整合进统一的建模流程中。
• HMC通过使用机器学习模型不仅用于预测，还用于估计具有推断有效性的因果效应，从而支持因果推断。
• 在HMC中，机器学习技术被应用于数据获取，改进了科学实验中的采样策略与数据质量。
• HMC通过使用预测模型生成可检验的假设，促进了理论预测，从而在科学方法中实现闭环。