[论文解读] Why the Decision Theoretic Perspective Misrepresents Frequentist Inference: 'Nuts and Bolts' vs. Learning from Data

Aris Spanos|arXiv (Cornell University)|Nov 3, 2012

Bayesian Modeling and Causal Inference参考文献 26被引用 4

一句话总结

本文认为，决策理论框架通过将频率学派推断围绕全称量词 '对所有 θ ∈ Θ' 建构，错误地再现了频率学派推断，这与频率学派旨在了解真实参数 θ∗ 的目标相冲突。它主张，损失函数与可容许性——决策理论的核心——更符合贝叶斯推断，而非频率学派推理，后者实际上依赖于关于真实 θ∗ 存在的事实性与假设性推理。

ABSTRACT

The primary objective of this paper is to revisit and make a case for the merits of R.A. Fisher's objections to the decision-theoretic framing of frequentist inference. It is argued that this framing is congruent with the Bayesian but incongruent with the frequentist inference. It provides the Bayesian approach with a theory of optimal inference, but it misrepresents the theory of optimal frequentist inference by framing inferences solely in terms of the universal quantifier `for all values of theta in the parameter space'. This framing is at odds with the primary objective of model-based frequentist inference, which is to learn from data about the true value of theta (unknown parameter(s)); the one that gave rise to the particular data. The frequentist approach relies on factual (estimation, prediction), as well as hypothetical (testing) reasoning whose primary aim is to learn from data about the true theta. The paper calls into question the appropriateness of admissibility and reassesses Stein's paradox as it relates to the capacity of frequentist estimators to pinpoint the true theta. The paper also compares and contrasts loss-based errors with traditional frequentist errors, such as coverage, type I and II; the former are attached to θ, but the latter to the inference procedure itself.

研究动机与目标

• 重新评估 R.A. 费希尔对决策理论框架在频率学派推断中不一致的批判。
• 证明决策理论方法虽然与贝叶斯推断一致，但与频率学派推断的核心目标不一致。
• 主张频率学派推断本质上是关于从数据中学习真实参数 θ∗ 的信息，而非最小化所有 θ ∈ Θ 上的期望损失。
• 挑战可容许性与斯丁悖论在频率学派语境中的相关性，强调一致性与有限样本效率而非其他标准。
• 对比基于损失的误差（依附于 θ）与传统频率学派误差概率（依附于推断程序）。

提出的方法

• 分析决策理论框架的三个核心组成部分：统计模型 Mθ(x)、决策空间 D 和损失函数 L(θ, d(x))。
• 将决策理论中使用的全称量词 ∀θ ∈ Θ 与支撑频率学派推理的全称量词 ∃θ∗ ∈ Θ 进行对比，后者涉及真实参数的存在性。
• 考察沃尔德（1939）原始损失函数，其依赖于 θ∗，并指出由于 θ∗ 未知，该函数在实践中不具备可操作性。
• 将传统频率学派误差度量——偏差、均方误差、覆盖概率、第一类/第二类错误——与基于损失的风险函数进行比较，突出其依附对象的不同（依附于 θ 与依附于推断程序）。
• 重新审视斯丁悖论，表明詹姆斯-Stein 估计量通过降低整体风险，牺牲了其精确定位 θ∗ 的能力。
• 主张可容许性并非频率学派估计量的相关最小属性，应更强调一致性与有限样本效率作为更合适的准则。

实验结果

研究问题

• RQ1 为何决策理论框架，特别是使用 ∀θ ∈ Θ 的方式，与频率学派推断的主要目标不相容？
• RQ2 决策理论方法对损失函数与可容许性的依赖，如何错误地再现了频率学派估计与检验的目标？
• RQ3 基于损失的误差与传统频率学派误差概率（如偏差、均方误差、覆盖概率、第一类/第二类错误）在本质上存在何种根本差异？
• RQ4 为何斯丁悖论对频率学派推断具有问题，因为它以牺牲精确定位 θ∗ 的能力为代价换取整体风险的降低？
• RQ5 围绕所有 θ ∈ Θ 的期望损失构建推断，而非围绕关于真实 θ∗ 的事实性推理，其后果是什么？

主要发现

• 决策理论框架与贝叶斯推断一致，因为两者都最小化所有 θ ∈ Θ 上的期望损失，但其与频率学派推断不一致，因为频率学派的目标是了解真实 θ∗。
• 频率学派推断依赖于事实性推理（估计、预测）与假设性推理（检验），两者均以真实 θ∗ 的存在为中心，而非全称量词 ∀θ ∈ Θ。
• 传统频率学派误差度量——偏差、均方误差、覆盖概率、第一类与第二类错误——依附于推断程序本身，而非特定的 θ 值，这与基于损失的风险函数不同。
• 风险函数 R(θ, θ̂) 将期望损失分配给每个 θ ∈ Θ，这与频率学派目标不相容，因为它惩罚了那些准确针对 θ∗ 的程序。
• 作为决策理论中标准的可容许性，并非频率学派估计量的相关最小属性，因为它依赖于基于数据之外信息的损失函数。
• James-Stein 估计量通过降低估计量精确定位 θ∗ 的能力，实现了更低的整体风险，从而损害了频率学派推断的主要目标。