[论文解读] Penalising model component complexity: A principled, practical approach to constructing priors

Daniel Simpson, Håvard Rue+3 more|arXiv (Cornell University)|Mar 18, 2014

Bayesian Modeling and Causal Inference参考文献 103被引用 24

一句话总结

本文提出了惩罚复杂性（Penalised Complexity, PC）先验，这是一种在分层贝叶斯模型中构建默认、客观先验的系统性框架，通过惩罚偏离基础模型的复杂性来实现。该方法使用用户定义的缩放参数控制复杂性，确保对重参数化不变性、与杰弗里斯先验的关联性，并支持奥卡姆剃刀原则，且在高维和复杂模型中表现出强大的理论和经验稳健性。

ABSTRACT

In this paper, we introduce a new concept for constructing prior distributions. We exploit the natural nested structure inherent to many model components, which defines the model component to be a flexible extension of a base model. Proper priors are defined to penalise the complexity induced by deviating from the simpler base model and are formulated after the input of a user-defined scaling parameter for that model component, both in the univariate and the multivariate case. These priors are invariant to reparameterisations, have a natural connection to Jeffreys' priors, are designed to support Occam's razor and seem to have excellent robustness properties, all which are highly desirable and allow us to use this approach to define default prior distributions. Through examples and theoretical results, we demonstrate the appropriateness of this approach and how it can be applied in various situations.

研究动机与目标

• 解决在缺乏专家知识时，复杂分层贝叶斯模型中缺乏系统性默认先验分布的问题。
• 开发一个支持奥卡姆剃刀原则的框架，通过惩罚复杂性来偏好更简单的模型。
• 构建对重参数化不变且与杰弗里斯先验具有自然关联的先验，以增强可解释性和稳健性。
• 为R-INLA等软件提供可扩展、实用的默认先验设定方法，减少对任意或临时选择的依赖。
• 通过单一用户定义的缩放参数实现透明、可解释的先验构建，该参数反映对模型灵活性的弱信息信念。

提出的方法

• 将嵌套模型层次结构中的最简合理模型定义为基线模型。
• 使用分歧度量（如Kullback–Leibler分歧）构造先验，以惩罚模型分量与基线模型之间的距离。
• 通过用户指定的缩放参数对先验进行参数化，以控制与基线模型的期望偏离程度。
• 通过基于模型自然参数的表述并运用信息几何，确保对重参数化的不变性。
• 将先验推导为复杂性度量上的指数族分布，确保先验的正确定义与客观性。
• 通过几何与谱分解方法，将该框架扩展至多变量情形，包括相关系数矩阵和精度矩阵。

实验结果

研究问题

• RQ1 我们如何为分层模型构建既可解释又稳健的默认、客观先验？
• RQ2 哪些原则可指导先验的构建，使其自然偏好更简单的模型，从而支持奥卡姆剃刀？
• RQ3 如何在系统性且客观非信息化的方式下，确保先验对重参数化不变？
• RQ4 单一用户定义的缩放参数是否能有效控制不同模型组件的复杂性？
• RQ5 在高维或复杂设置（如疾病映射或高斯随机场模型）中，PC先验的表现如何？

主要发现

• PC先验对重参数化保持不变，确保无论模型参数化方式如何，先验设定均一致。
• 先验与杰弗里斯先验具有自然关联，并通过惩罚复杂性支持奥卡姆剃刀原则。
• 该框架支持复杂模型（如高斯随机场模型）的默认先验设定，具有坚实的理论基础。
• 经验结果表明，即使在使用弱信息缩放参数的高维设置中，PC先验也能实现稳健的后验推断。
• 理论分析证实，PC先验可产生正确定义的后验分布，并在正规与非正规模型下均表现出规则的渐近行为。
• 在稀疏高维模型中，当缩放参数适切选择时，可证明PC先验会将质量集中在真实稀疏水平上。