[论文解读] Rigorizing and Extending the Cox-Jaynes Derivation of Probability: Implications for Statistical Practice

Alexander Terenin, David Draper|arXiv (Cornell University)|Jul 23, 2015

Statistical Mechanics and Entropy参考文献 37被引用 9

一句话总结

本文通过建立可数可加性与一致的不可数概率断言，严格扩展了Cox-Jaynes概率推导，证明Kolmogorov概率是Cox-Jaynes框架的特例。该研究为贝叶斯非参数推断提供了基础支持，并解决了贝叶斯连续不确定性公理化中的长期空白。

ABSTRACT

There have been three attempts to date to establish foundations for the discipline of probability, namely the efforts of Kolmogorov (frequentist), de Finetti (Bayesian: belief and betting odds) and RT Cox (Bayesian: reasonable expectation)/ET Jaynes (Bayesian: optimal information processing). The original proof of the validity of the Cox-Jaynes approach has been shown to be incomplete, and attempts to date to remedy this situation are themselves not entirely satisfactory. Here we offer a new axiomatization that both rigorizes the Cox-Jaynes derivation of probability and extends it - from apparent dependence on finite additivity to (1) countable additivity and (2) the ability to simultaneously make uncountably many probability assertions in a logically-internally-consistent manner - and we discuss the implications of this work for statistical methodology and applications. This topic is sharply relevant for statistical practice, because continuous expression of uncertainty - for example, taking the set $\Theta$ of possible values of an unknown $ heta$ to be $(0,1)$, or $\mathbb{R}$, or the space of all cumulative distribution functions on $\mathbb{R}$ - is ubiquitous, but has not previously been rigorously supported under at least one popular Bayesian axiomatization of probability. The most important area of statistical methodology that our work has now justified from a Cox-Jaynes perspective is Bayesian non-parametric inference, a topic of fundamental importance in applied statistics. We present two interesting foundational findings, one of which is that Kolmogorov's probability function $\mathbb{P}_K (A)$ of the single argument A is isomorphic to a version of the Cox-Jaynes two-argument probability map $\mathbb{P}_{CJ} (A \mid B)$ in which Kolmogorov's B has been hard-wired at the factory to coincide with his sample space $\Omega$, thus Kolmogorov is a special case of Cox-Jaynes.

研究动机与目标

• 解决原始Cox-Jaynes概率推导中长期存在的不完备性，特别是关于有限可加性与不可数设定下的逻辑一致性问题。
• 将Cox-Jaynes框架从有限可加性扩展至可数可加性，从而在统计推断中实现对连续参数空间的严格处理。
• 证明Cox-Jaynes的两参数概率映射能够一致地表达不可数多个概率断言，从而解决贝叶斯推理中的基础性空白。
• 在第二个参数固定为样本空间时，建立Kolmogorov单参数概率与Cox-Jaynes两参数映射之间的形式同构关系。
• 为贝叶斯非参数推断提供一个逻辑严谨的基础，这是现代统计学中的核心方法，此前在Cox-Jaynes公理下缺乏完整依据。

提出的方法

• 引入一种新的公理化体系，强化Cox-Jaynes函数方程框架，以确保可数可加性。
• 通过在连续域上使用广义一致性条件，形式化不可数多个概率赋值的一致性。
• 将概率映射 $\mathbb{P}_{CJ}(A \mid B)$ 定义为满足逻辑一致性与连续性约束的二元函数。
• 证明当 $B = \Omega$（样本空间）时，$\mathbb{P}_{CJ}(A \mid \Omega)$ 退化为Kolmogorov的 $\mathbb{P}_K(A)$，从而确立同构关系。
• 利用序连续性与格论性质，确保有限概率断言的极限收敛于连续设定下的有效概率赋值。
• 将该框架应用于连续参数空间，如 $\Theta = (0,1)$、$\mathbb{R}$ 或 $\mathbb{R}$ 上所有累积分布函数的空间。

实验结果

研究问题

• RQ1 Cox-Jaynes概率推导能否被严格扩展以支持可数可加性与不可数一致性？
• RQ2 Cox-Jaynes框架如何适应统计建模中常用的连续参数空间？
• RQ3 Kolmogorov的概率测度是否为Cox-Jaynes两参数概率映射的特例？若是，其条件为何？
• RQ4 该新框架为贝叶斯非参数推断提供了何种基础支持？
• RQ5 在Cox-Jaynes框架中，能否在同时做出不可数多个概率断言时维持逻辑一致性？

主要发现

• 本文在Cox-Jaynes框架内建立了可数可加性的严格基础，解决了早期推导中的关键空白。
• 证明Cox-Jaynes概率映射能够一致地表达不可数多个概率断言，从而实现连续不确定性量化。
• 正式证明了Kolmogorov的 $\mathbb{P}_K(A)$ 与Cox-Jaynes的 $\mathbb{P}_{CJ}(A \mid \Omega)$ 之间的同构关系，表明Kolmogorov方法是其特例。
• 该框架为贝叶斯非参数推断提供了逻辑一致的基础，尤其适用于参数空间不可数的情形，如 $\mathbb{R}$ 或所有CDF的空间。
• 该扩展确保了有限概率赋值的极限在连续设定下收敛于有效概率值，保持了相干性。
• 本工作证实，Cox-Jaynes方法可为涉及连续不确定性的现代统计实践提供理论支撑，此前这些实践在逻辑上缺乏充分依据。