[论文解读] On the Universality of Invariant Networks

Haggai Maron, Ethan Fetaya+2 more|arXiv (Cornell University)|Jan 27, 2019

Tensor decomposition and applications参考文献 15被引用 14

一句话总结

本文建立了针对任意有限置换群 G ≤ Sₙ 的 G-不变神经网络的通用近似能力。它证明了对某些群（例如交错群 Aₙ）而言，通用性需要高阶张量，且识别出仅使用一阶张量时，2-闭性是通用性的必要条件，从而解决了不变网络设计中的一个关键理论空白。

ABSTRACT

Constraining linear layers in neural networks to respect symmetry transformations from a group $G$ is a common design principle for invariant networks that has found many applications in machine learning. In this paper, we consider a fundamental question that has received little attention to date: Can these networks approximate any (continuous) invariant function? We tackle the rather general case where $G\leq S_n$ (an arbitrary subgroup of the symmetric group) that acts on $\mathbb{R}^n$ by permuting coordinates. This setting includes several recent popular invariant networks. We present two main results: First, $G$-invariant networks are universal if high-order tensors are allowed. Second, there are groups $G$ for which higher-order tensors are unavoidable for obtaining universality. $G$-invariant networks consisting of only first-order tensors are of special interest due to their practical value. We conclude the paper by proving a necessary condition for the universality of $G$-invariant networks that incorporate only first-order tensors.

研究动机与目标

• 确定 G-不变网络是否能对任意连续的 G-不变函数实现通用近似。
• 刻画 G-不变网络中实现通用性所需的最小张量阶数。
• 识别仅使用一阶张量即可实现通用性的群的条件。
• 解决关于集合、图和表格数据中不变网络近似能力的开放问题。
• 为通用不变架构的设计建立理论基础。

提出的方法

• 构建一个使用阶数 k ≤ d 的张量之间的线性等变层的 G-不变网络，其中 d 取决于群 G。
• 采用构造性证明，表明任何连续的 G-不变函数均可通过高阶张量实现近似。
• 通过分析 G 的轨道结构推导出张量阶数的下界，证明对 Aₙ 而言 (n−2)/2 是最小阶数。
• 利用表示理论和群在张量上的作用，定义等变与不变的线性层。
• 基于群轨道上不变函数值的矛盾论证，证明在非 2-闭群上，一阶网络无法实现通用性。
• 引入 2-闭群的概念，并将其与唯一 G-等变函数的存在性联系起来。

实验结果

研究问题

• RQ1 对于任意有限置换群 G ≤ Sₙ，G-不变网络是否能对任意连续的 G-不变函数实现通用近似？
• RQ2 G-不变网络中实现通用性所需的最小张量阶数是什么？
• RQ3 对于哪些群 G，仅使用一阶张量即可实现通用性？
• RQ4 G 的哪些结构性质会阻止一阶 G-不变网络实现通用性？
• RQ5 2-闭性如何与唯一 G-等变函数的存在性以及网络通用性相关联？

主要发现

• 当允许使用高阶张量（阶数 ≤ n(n−1)/2）时，G-不变网络具有通用性。
• 对于交错群 Aₙ，任何仅使用阶数不超过 (n−2)/2 的张量的 G-不变网络都无法实现通用性。
• 一阶 G-不变网络实现通用性的必要条件是 G 为 2-闭群。
• 存在无限多组置换群（例如 PSL_d(F_q)、AΓL_d(F_q)）为 2-传递但非 2-闭，因此一阶网络无法实现通用性。
• 存在唯一 G-等变线性函数是实现一阶通用性的必要条件，该发现将本工作与先前关于参数共享的研究联系起来。
• 通过识别所需群论条件，本文解决了点云、图和表格数据等若干实际架构的通用性问题。