[论文解读] You say Normalizing Flows I see Bayesian Networks

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|Jun 1, 2020

Gaussian Processes and Bayesian Inference参考文献 4被引用 4

一句话总结

本文將歸一化流重新解讀為貝葉斯網絡，揭示了耦合流與自回歸流對應於具有可學習節點密度的特定貝葉斯網絡拓撲結構。研究表明，當堆疊超過三層的仿射變換層時，會觸發根本性的容量躍升，但無論深度如何，仿射歸一化流始終不是通用的密度逼近器，這是由於對非正態組件建模的結構約束所致。

ABSTRACT

Normalizing flows have emerged as an important family of deep neural networks for modelling complex probability distributions. In this note, we revisit their coupling and autoregressive transformation layers as probabilistic graphical models and show that they reduce to Bayesian networks with a pre-defined topology and a learnable density at each node. From this new perspective, we provide three results. First, we show that stacking multiple transformations in a normalizing flow relaxes independence assumptions and entangles the model distribution. Second, we show that a fundamental leap of capacity emerges when the depth of affine flows exceeds 3 transformation layers. Third, we prove the non-universality of the affine normalizing flow, regardless of its depth.

研究动机与目标

• 透過機率圖模型，特別是貝葉斯網絡的視角，重新詮釋歸一化流。
• 分析堆疊變換層如何影響歸一化流中的獨立性假設與模型容量。
• 研究仿射歸一化流作為密度逼近器的通用性。
• 提供對歸一化流架構之結構限制與容量動態的理論洞察。

提出的方法

• 將耦合與自回歸歸一化流層重新表述為具有固定拓撲結構與節點處可學習條件密度的貝葉斯網絡。
• 使用變量變換公式，以基部分佈與雅可比行列式表示變換後變數的聯合密度。
• 應用 d-分離與 I-圖理論，分析等價貝葉斯網絡表達中的條件獨立性。
• 為單步與多步流構建等價貝葉斯網絡，顯示每層如何引入新的依賴關係。
• 使用反例論證證明非通用性，顯示當組件的潛在祖先數量有限時，仿射流無法建模非正態邊際分佈。
• 分析雙射變換的結構約束，證明若從貝葉斯網絡中移除無向邊將違反雙射性。

实验结果

研究问题

• RQ1 歸一化流架構如何正式映射至貝葉斯網絡結構？
• RQ2 當堆疊更多流層時，條件獨立性假設會發生什麼變化？
• RQ3 是否存在一個臨界深度，超過此深度後歸一化流的容量會顯著提升？
• RQ4 無論深度如何，仿射歸一化流是否能通用逼近任何機率分佈？
• RQ5 哪些結構限制阻止了仿射歸一化流實現通用逼近？

主要发现

• 堆疊多個歸一化流變換會放鬆獨立性假設，並透過引入新的條件依賴關係來糾纏模型分佈。
• 當仿射歸一化流的深度超過三層時，會出現根本性的容量躍升，顯示模型能力發生質的變化。
• 即使深度無限，仿射歸一化流也不是通用的密度逼近器，這是因為對非正態邊際分佈建模存在結構約束。
• 當資料向量的某個組件邊際上非正態時，除非潛在祖先結構允許非線性變換，否則等價貝葉斯網絡無法表示該組件，而這種可能性受雙射性限制。
• 模型容量受限於：若某個組件僅有一個潛在祖先，則其必須是該祖先的線性函數，從而導致正態性約束。
• 歸一化流與貝葉斯網絡之間的等價性表明，當條件器容量已足夠時，額外的流層不會進一步提升容量，這在二維玩具問題中已通過實證觀察到。