[论文解读] On Extended Admissible Procedures and their Nonstandard Bayes Risk

Haosui Duanmu, Daniel M. Roy|arXiv (Cornell University)|Dec 29, 2016

Mathematical and Theoretical Analysis被引用 7

一句话总结

本文利用非标准分析引入非标准贝叶斯决策过程，建立扩展可容许性与贝叶斯最优性之间的精确联系，而无需强正则性条件。证明了标准决策过程是扩展可容许的，当且仅当其非标准扩张关于某个非标准先验是非标准贝叶斯的，从而提供了布利斯方法的非标准类比，并为紧致豪斯多夫参数空间上连续风险函数的情形，给出了一个新的标准定理。

ABSTRACT

For finite parameter spaces under finite loss, every Bayes procedure derived from a prior with full support is admissible, and every admissible procedure is Bayes. This relationship already breaks down once we move to finite-dimensional Euclidean parameter spaces. Compactness and strong regularity conditions suffice to repair the relationship, but without these conditions, admissible procedures need not be Bayes. Under strong regularity conditions, admissible procedures can be shown to be the limits of Bayes procedures. Under even stricter conditions, they are generalized Bayes, i.e., they minimize the Bayes risk with respect to an improper prior. In both these cases, one must venture beyond the strict confines of Bayesian analysis. Using methods from mathematical logic and nonstandard analysis, we introduce the class of nonstandard Bayes decision procedures---namely, those whose Bayes risk with respect to some prior is within an infinitesimal of the optimal Bayes risk. Among procedures with finite risk functions, we show that a decision procedure is extended admissible if and only if its nonstandard extension is nonstandard Bayes. For problems with continuous risk functions defined on metric parameter spaces, we derive a nonstandard analogue of Blyth's method that can be used to establish the admissibility of a procedure. We also apply the nonstandard theory to derive a purely standard theorem: when risk functions are continuous on a compact Hausdorff parameter space, a procedure is extended admissible if and only if it is Bayes.

研究动机与目标

• 在有限或正则参数空间之外，弥合统计决策理论中可容许性与贝叶斯最优性之间的差距。
• 克服在无限维欧氏参数空间中标准贝叶斯-可容许性等价性失效的问题。
• 构建一个非标准框架，使得可容许程序可通过无穷小贝叶斯风险的极限表征为贝叶斯程序。
• 建立布利斯方法的非标准类比，通过单个非标准先验而非序列来证明可容许性。
• 推导出一个纯粹标准的定理，表明在紧致豪斯多夫参数空间上，若风险函数连续，则扩展可容许性与贝叶斯最优性一致。

提出的方法

• 使用非标准分析构造实数的非标准模型，包括无穷小量和超有限集合。
• 利用转移原理，定义决策问题、参数空间和决策过程的非标准扩张。
• 引入非标准贝叶斯程序的概念，即其贝叶斯风险在非标准先验下与最优贝叶斯风险相差无穷小。
• 在非标准模型中应用超平面分离论证，将扩展可容许程序表征为非标准贝叶斯程序。
• 使用卢布测度理论处理超有限集合上的内部概率测度，从而实现对非标准先验的严格处理。
• 应用饱和性和扩展原理，确保满足有限可满足条件的非标准结构存在。

实验结果

研究问题

• RQ1 在无强正则性或紧致性假设下，能否将扩展可容许程序表征为非标准贝叶斯程序？
• RQ2 是否存在布利斯方法的非标准类比，即通过单个非标准先验而非标准先验序列来证明可容许性？
• RQ3 在何种条件下，非标准贝叶斯最优性蕴含标准扩展可容许性，反之亦然？
• RQ4 能否通过非标准方法在紧致豪斯多夫参数空间上，对连续风险函数恢复扩展可容许性与贝叶斯最优性之间的等价性？
• RQ5 非标准贝叶斯程序、贝叶斯程序的极限以及广义贝叶斯程序之间存在何种关系？

主要发现

• 一个标准决策过程是扩展可容许的，当且仅当其非标准扩张关于某个非标准先验是非标准贝叶斯的。
• 对于紧致豪斯多夫参数空间上连续风险函数的情形，扩展可容许性与贝叶斯最优性等价，通过非标准分析恢复了经典结果。
• 可容许程序的非标准扩张是非标准贝叶斯程序，其在标准程序的非标准扩张中成立，但不必然在所有内部决策程序中成立。
• 本文构建了布利斯方法的非标准类比，通过单个非标准先验而非序列来证明可容许性。
• 证明了即使没有任何标准先验能达到相同效果，非标准贝叶斯程序仍能体现可容许性，凸显了无穷小推理的强大能力。
• 本文表明，在紧致性和连续性条件下，扩展可容许程序是内部决策程序中的非标准贝叶斯程序，但反之在一般情况下可能不成立。