[论文解读] Posterior Collapse of a Linear Latent Variable Model

Zihao Wang, Liu Ziyin|arXiv (Cornell University)|May 9, 2022

Bayesian Methods and Mixture Models被引用 5

一句话总结

本文識別出線性潛變量模型中後驗崩潰的根本原因——由於先驗分佈導致潛變量均值過度正則化。本文證明當先驗的正則化主導似然時，後驗崩潰就會發生，使原點（零均值）成為全域最小值，並指出這是一種在變分自編碼器（VAE）以外的深度生成模型中也存在的根本性問題。

ABSTRACT

This work identifies the existence and cause of a type of posterior collapse that frequently occurs in the Bayesian deep learning practice. For a general linear latent variable model that includes linear variational autoencoders as a special case, we precisely identify the nature of posterior collapse to be the competition between the likelihood and the regularization of the mean due to the prior. Our result suggests that posterior collapse may be related to neural collapse and dimensional collapse and could be a subclass of a general problem of learning for deeper architectures.

研究动机与目标

• 理解貝葉斯深度學習中後驗崩潰的根本原因，特別是在線性潛變量模型中的原因。
• 解決長期存在的模糊性問題：後驗崩潰是源自近似推斷（例如ELBO）還是模型容量問題。
• 識別解碼器方差的可學習性是否為後驗崩潰的因果因素。
• 建立線性模型中後驗崩潰發生的精確數學條件。
• 將後驗崩潰定位為深度架構學習中更廣泛問題的一個子類，並與神經網絡崩潰或維度崩潰聯繫起來。

提出的方法

• 分析具有一般性線性潛變量模型與變分目標的模型，包括線性VAE和條件VAE。
• 推導在線性編碼器與解碼器下，證據下界（ELBO）目標的全域最小值。
• 計算在原點（零均值）處的Hessian矩陣，以評估局部最優性與穩定性。
• 識別出原點成為全域最小值的條件：當先驗對均值的正則化主導似然時。
• 使用矩陣微積分與奇異值分解分析Hessian矩陣的二次型，專注於資料結構（Z）、雜訊（σ²）與超參數（β, η_dec/η_enc）之間的互動。
• 考慮原點周圍的擾動，根據Hessian矩陣最小特徵值的符號判斷其是否為最小值、鞍點或最大值。

实验结果

研究问题

• RQ1 在線性潛變量模型中，後驗崩潰發生的精確數學條件為何？
• RQ2 後驗崩潰是由ELBO近似引起的，還是即使在精確推斷中也持續存在？
• RQ3 在線性模型中，解碼器方差的可學習性是否導致或防止後驗崩潰？
• RQ4 先驗對潛變量均值的正則化是否是後驗崩潰的主要驅動因素？
• RQ5 能否將後驗崩潰理解為深度學習中更廣泛現象（如神經網絡崩潰或維度崩潰）的一個子類？

主要发现

• 當先驗對潛變量均值的正則化主導似然時，後驗崩潰就會發生，使原點成為全域最小值。
• 原點為全域最小值的條件為 σ²β(η_dec/η_enc)² ≥ ζ_max²，其中 ζ_max 為資料矩陣 Z 的最大奇異值。
• 後驗崩潰並非由ELBO近似或模型容量引起，即使在線性模型中使用精確推斷，後驗崩潰仍會持續存在。
• 解碼器方差的可學習性既非防止崩潰的必要條件也非充分條件，因為無論方差是固定還是可訓練，崩潰都可能發生。
• 原點為局部最小值，當且僅當原點處的Hessian矩陣為半正定，此條件與全域最小值條件一致。
• 本研究識別出一個普遍機制——先驗對均值的正則化——作為後驗崩潰的根源，表明這是在深度生成建模中的一個根本性問題。