[论文解读] On the correspondence between Bayesian log-linear and logistic regression models with unit information priors

Michail Papathomas|arXiv (Cornell University)|Sep 12, 2014

Bayesian Modeling and Causal Inference被引用 1

一句话总结

本文建立了在使用 g-先验或 g-先驗混合時，貝葉斯對數線性模型與邏輯斯蒂回歸之間的正式對應關係。論文證明了兩種模型中參數的後驗分佈在漸近意義下等價，從而驗證了在評估主效應與交互效應時，可將對數線性模型的推斷結果有效轉移到邏輯斯蒂回歸框架中。

ABSTRACT

Consider a set of categorical variables where at least one of them is binary. The log-linear model that describes the counts in the resulting contingency table implies a specific logistic regression model, with the binary variable as the outcome. Within the Bayesian framework, the $g$-prior and mixtures of $g$-priors are commonly assigned to the parameters of a generalized linear model. We prove that assigning a $g$-prior (or a mixture of $g$-priors) to the parameters of a certain log-linear model designates a $g$-prior (or a mixture of $g$-priors) on the parameters of the corresponding logistic regression. By deriving an asymptotic result, and with numerical illustrations, we demonstrate that when a $g$-prior is adopted, this correspondence extends to the posterior distribution of the model parameters. Thus, it is valid to translate inferences from fitting a log-linear model to inferences within the logistic regression framework, with regard to the presence of main effects and interaction terms.

研究动机与目标

• 探討在 g-先驗假設下，貝葉斯對數線性模型與邏輯斯蒂回歸模型之間的理論對應關係。
• 確定在對數線性模型中使用 g-先驗是否會在對應的邏輯斯蒂回歸模型中引發等價的 g-先驗分佈。
• 評估將對數線性模型的推斷結果轉移到邏輯斯蒂回歸模型的可靠性，特別是針對主效應與交互效應項。
• 為兩種建模框架下 g-先驗規範設定的後驗分佈等價性提供漸近理論支持。

提出的方法

• 論文推導了在二元應變變量下，對數線性模型與邏輯斯蒂回歸模型設計矩陣之間的數學關係。
• 將 g-先驗與 g-先驗混合應用於對數線性模型的參數，並證明這會在邏輯斯蒂回歸模型的參數上引發相應的 g-先驗。
• 使用漸近分析證明，在 g-先驗假設下，兩種模型中參數的後驗分佈會收斂。
• 提供數值範例以支援理論發現，並驗證有限樣本下的一致性。
• 利用指數族指數族與共 conjugate 先驗理論，在貝葉斯框架中建立兩者的對應關係。

实验结果

研究问题

• RQ1 將 g-先驗分配給對數線性模型是否會在對應的邏輯斯蒂回歸模型上產生 g-先驗？
• RQ2 在 g-先驗假設下，對數線性模型與邏輯斯蒂回歸模型的後驗分佈在多大程度上一致？
• RQ3 能否可靠地將對數線性模型中關於主效應與交互效應項的推斷轉移到邏輯斯蒂回歸模型？
• RQ4 後驗分佈的漸近行為在多大程度上支持這種對應關係的有效性？

主要发现

• 將 g-先驗分配給對數線性模型參數，會在對應的邏輯斯蒂回歸模型參數上引發 g-先驗。
• 在 g-先驗規範設定下，對數線性模型與邏輯斯蒂回歸模型中參數的後驗分佈在漸近意義下等價。
• 這種對應關係對主效應與交互效應項均成立，支持兩種框架之間的推斷轉移。
• 數值範例驗證了理論發現，顯示在有限樣本中後驗分佈之間具有高度一致性。