[论文解读] The Descriptive Complexity of Graph Neural Networks

Martin Grohe|arXiv (Cornell University)|Mar 8, 2023

Machine Learning and Algorithms被引用 4

一句话总结

本文對圖神經網絡（GNNs）建立了精確的邏輯與電路理論表徵，表明具有實數權重和標準激活函數的有界深度GNNs恰好計算出可由一階邏輯的計數受控片段（GFO+C）定義的查詢。在隨機初始化與全局讀出的情況下，它們捕捉了複雜度類TC⁰，揭示了儘管GNNs進行連續的實數計算，其與經典描述複雜度理論之間仍存在緊密對應關係。

ABSTRACT

We analyse the power of graph neural networks (GNNs) in terms of Boolean circuit complexity and descriptive complexity. We prove that the graph queries that can be computed by a polynomial-size bounded-depth family of GNNs are exactly those definable in the guarded fragment GFO+C of first-order logic with counting and with built-in relations. This puts GNNs in the circuit complexity class (non-uniform) $ ext{TC}^0$. Remarkably, the GNN families may use arbitrary real weights and a wide class of activation functions that includes the standard ReLU, logistic "sigmoid", and hyperbolic tangent functions. If the GNNs are allowed to use random initialisation and global readout (both standard features of GNNs widely used in practice), they can compute exactly the same queries as bounded depth Boolean circuits with threshold gates, that is, exactly the queries in $ ext{TC}^0$. Moreover, we show that queries computable by a single GNN with piecewise linear activations and rational weights are definable in GFO+C without built-in relations. Therefore, they are contained in uniform $ ext{TC}^0$.

研究动机与目标

• 以描述複雜度理論的角度，對圖神經網絡（GNNs）的邏輯與計算表達能力進行表徵。
• 確定具有實數權重和標準激活函數的多項式大小、有界深度GNNs所能計算的圖查詢的確切類別。
• 研究隨機初始化與全局讀出對GNN表達能力的影響，特別是與布爾電路類別的關係。
• 建立連續的、基於實數的GNNs與離散的、有限的計算模型（如一階邏輯與TC⁰電路）之間的正式橋樑。
• 探討聚合函數、激活函數以及權重類型（有理數與實數）在決定GNN表達能力中的作用。

提出的方法

• 作者將GNNs分析為在圖上運作的分佈式、局部計算模型，其中每個頂點維護一個實數狀態，並使用可學習的神經網絡與鄰居交換訊息。
• 他們定義了一族以輸入大小n為參數的GNNs，具有有界深度（訊息傳遞輪數與神經網絡層數），並通過計算節點數量與權重絕對值來衡量大小。
• 他們引入了rpl-近似激活函數的概念（例如ReLU、Sigmoid、tanh），並證明使用此類函數的GNNs可以模擬與被模擬為GFO+C中的邏輯公式。
• 他們使用隨機初始化技術（ri）使GNNs能夠計算TC⁰中的查詢，證明此類GNNs可模擬閾值門，從而達到TC⁰的全部能力。
• 他們透過構造GNNs在GFO+C中的模擬與反之亦然，證明邏輯可定義性結果，使用有限模型論中的技術，包括有序不變邏輯與內建關係。
• 他們證明，具有有理數權重與分段線性激活函數的GNNs，即使在無隨機初始化的情況下，也能計算與統一TC⁰完全相同的查詢。

实验结果

研究问题

• RQ1 具有實數權重和標準激活函數的有界深度GNNs所計算的查詢，對應於哪個邏輯片段？
• RQ2 隨機初始化如何影響GNN的表達能力？它是否能將其能力擴展至捕捉複雜度類TC⁰？
• RQ3 僅使用SUM聚合與ReLU激活的GNNs能否模擬具有更複雜聚合與激活函數的任意GNNs？其計算開銷為何？
• RQ4 是否存在對GNNs的統一表徵，使其與已知的統一電路類別（如統一TC⁰）相匹配？
• RQ5 在限制為有理數權重與分段線性激活函數的情況下，GNNs的表達能力在多大程度上可由一階邏輯與計數來捕捉？

主要发现

• 具有實數權重與rpl-近似激活函數的有界深度GNNs，恰好計算出可由一階邏輯的計數受控片段與內建關係（GFO+Cₙᵤ）定義的查詢。
• 在隨機初始化與全局讀出的情況下，GNNs恰好計算出TC⁰中的查詢，確立了GNNs與閾值電路之間的緊密對應關係。
• 僅使用ReLU激活與SUM聚合的GNNs，可透過多項式規模的額外開銷模擬任意GNNs，即使原始GNNs使用非線性激活與其他聚合函數。
• 具有有理數權重與分段線性激活函數的GNNs，恰好計算出統一TC⁰中的查詢，顯示有理數權重已足夠實現完整的TC⁰表達能力。
• 即使在無限聚合（總和與最大值）的情況下，結果依然成立，且邏輯框架能處理無統一性與無序結構上的內建關係。
• 本論文首次為具有隨機初始化的多項式規模GNNs提供了表達能力的上界，解決了理論GNN研究中的一個關鍵開放問題。