[论文解读] Statistical details of the default priors in the Bambi library

Jacob Westfall|arXiv (Cornell University)|Feb 3, 2017

Algorithms and Data Compression参考文献 2被引用 14

一句话总结

本文詳細闡述了 Bambi Python 庫中用於貝葉斯廣義線性混合模型的預設弱 informative 先驗的統計基礎。該研究提出對迴歸斜率設定獨立的常態先驗，其變異數源自隱含的部分相關係數標準差，從而實現尺度不變、可解釋的先驗，能適應資料結構，同時保持計算簡單與穩健。

ABSTRACT

This is a companion paper to Yarkoni and Westfall (2017), which describes the Python package Bambi for estimating Bayesian generalized linear mixed models using a simple interface. Here I give the statistical details underlying the default, weakly informative priors used in all models when the user does not specify the priors. Our approach is to first deduce what the variances of the slopes would be if we were instead to have defined the priors on the partial correlation scale, and then to set independent Normal priors on the slopes with variances equal to these implied variances. Our approach is similar in spirit to that of Zellner's g-prior (Zellner 1986), in that it involves a multivariate normal prior on the regression slopes, with a tuning parameter to control the width or informativeness of the priors irrespective of the scales of the data and predictors. The primary differences are that here the tuning parameter is directly interpretable as the standard deviation of the distribution of plausible partial correlations, and that this tuning parameter can have different values for different coefficients. The default priors for the intercepts and random effects are ultimately based on the prior slope variances.

研究动机与目标

• 為 Bambi 庫中的貝葉斯廣義線性混合模型提供一個有原則且可解釋的預設先驗規範。
• 透過將先驗錨定於部分相關係數標準差，確保先驗的資訊量獨立於預測變數的縮放。
• 透過為各係數引入特定的調節參數，擴展 g-先驗框架以提升靈活性。
• 透過弱 informative 先驗支持小樣本或高維度設定下的穩健推斷。
• 讓使用者無需專家級先驗知識，也能輕鬆應用有原則的先驗。

提出的方法

• 透過將期望的部分相關係數標準差轉換為多變量常態先驗的變異數，推導迴歸斜率的隱含變異數。
• 對每個迴歸斜率應用獨立的常態先驗，並將其變異數設為推導出的隱含變異數。
• 為每個係數引入一個調節參數，代表合理部分相關係數的標準差，從而實現係數特定的資訊量。
• 將截距項與隨機效應的先驗基於從斜率先驗推導出的相同變異數結構。
• 透過將先驗寬度錨定於部分相關係數的效應大小，而非原始迴歸係數，確保先驗的尺度不變性。
• 在 Bambi 庫中實現該框架，當使用者未指定自訂先驗時，自動套用這些先驗。

实验结果

研究问题

• RQ1 如何使貝葉斯迴歸中的預設先驗既具可解釋性，又能抵禦預測變數縮放的影響？
• RQ2 部分相關係數標準差與迴歸斜率先驗變異數之間的統計關係為何？
• RQ3 如何擴展 g-先驗框架，以允許係數特定的資訊量？
• RQ4 使用基於部分相關係數的先驗對混合模型的收斂性與後驗推論有何影響？
• RQ5 如何在使用者友善的貝葉斯建模庫中自動套用弱 informative 先驗？

主要发现

• Bambi 的預設先驗源自期望的合理部分相關係數標準差，該標準差具有直接可解釋性且具尺度不變性。
• 每個斜率先驗的變異數設為部分相關係數標準差的平方，確保在不同預測變數尺度下先驗資訊量的一致性。
• 該方法透過係數特定的調節參數，允許不同係數具有不同的先驗資訊量。
• 該方法透過將調節參數解釋為部分相關係數標準差，擴展了 Zellner 的 g-先驗框架。
• 截距項與隨機效應的先驗由固定效應所用的相同變異數結構隱含決定，確保模型各組分之間的一致性。
• 該框架使 Bambi 中的先驗規範能穩健且自動化，無需使用者具備先驗選擇的專業知識。