[论文解读] The algebra and machine representation of statistical models

Evan Patterson|arXiv (Cornell University)|Jun 16, 2020

Statistics Education and Methodologies参考文献 179被引用 4

一句话总结

本论文提出了一种范畴代数框架，将统计模型形式化为类似于逻辑理论的数学结构，通过范畴论实现机器可表示。该框架通过软件系统将统计推断与计算工作流统一，支持Python和R语言间的语义保留，推动了形式化、与语言无关的数据科学建模，实现可重现且可组合的数据科学。

ABSTRACT

As the twin movements of open science and open source bring an ever greater share of the scientific process into the digital realm, new opportunities arise for the meta-scientific study of science itself, including of data science and statistics. Future science will likely see machines play an active role in processing, organizing, and perhaps even creating scientific knowledge. To make this possible, large engineering efforts must be undertaken to transform scientific artifacts into useful computational resources, and conceptual advances must be made in the organization of scientific theories, models, experiments, and data. This dissertation takes steps toward digitizing and systematizing two major artifacts of data science, statistical models and data analyses. Using tools from algebra, particularly categorical logic, a precise analogy is drawn between models in statistics and logic, enabling statistical models to be seen as models of theories, in the logical sense. Statistical theories, being algebraic structures, are amenable to machine representation and are equipped with morphisms that formalize the relations between different statistical methods. Turning from mathematics to engineering, a software system for creating machine representations of data analyses, in the form of Python or R programs, is designed and implemented. The representations aim to capture the semantics of data analyses, independent of the programming language and libraries in which they are implemented.

研究动机与目标

• 通过范畴逻辑建立统计模型的严谨代数基础。
• 将统计理论形式化为具有表示方法论关系的态射的代数结构。
• 设计并实现一个软件系统，生成Python和R中数据分析的机器可读、语义保留的表示。
• 通过建模科学知识的层次结构，弥合统计方法与科学理论之间的鸿沟。
• 通过形式化、可计算的表示，实现机器辅助的推理、验证与数据科学工作流组合。

提出的方法

• 使用范畴论——特别是彩色PROPs和张量范畴——对统计理论及其态射进行建模。
• 将统计模型定义为理论上的代数，其中参数化分布族构成核心结构。
• 提出一种数据科学工作流的形式化本体，编码与编程语言或库无关的语义。
• 采用程序分析技术从Python和R代码中提取语义意义，将其转换为结构化、机器可处理的表示。
• 构建统计理论的高阶范畴结构，其中复合与乘积运算非严格，提示未来在高维形式化方面的研究方向。
• 将该框架应用于统一实验设计、模型构建与推断，形成基于范畴论的单一形式系统。

实验结果

研究问题

• RQ1 如何在形式化的范畴论框架内，系统地将统计模型表示为代数结构？
• RQ2 统计模型之间的态射在形式化不同统计方法间关系中起什么作用？
• RQ3 如何将Python和R中的数据分析工作流转换为与实现细节无关的机器可读、语义保留的表示？
• RQ4 统计理论如何被嵌入科学模型的层次结构中，以支持泛化与理论传播？
• RQ5 形式化、可计算的统计模型与数据分析表示如何提升数据科学中的可重现性、验证性与自动化？

主要发现

• 本论文成功将统计模型形式化为彩色PROPs上的代数，为统计推断提供了精确的范畴论框架。
• 研究表明，统计模型之间的态射可表示方法论变换，如模型简化或参数化变化。
• 已实现一个可运行的软件系统，可将Python和R中的数据分析代码转换为保留语义的形式化表示，实现跨语言语义一致性。
• 该框架支持将实验设计及实验模型作为统一、形式化的知识结构的一部分进行表示。
• 研究揭示了当前以原假设检验为中心的统计范式与科学知识实际结构之间存在根本性不匹配，主张采用更整体化、分层化的建模方法。
• 所提出的系统通过支持形式化、可组合且可验证的数据科学工作流，推动了机器辅助科学推理的长期愿景。