[论文解读] Universal Equivariant Multilayer Perceptrons

Siamak Ravanbakhsh|arXiv (Cornell University)|Feb 7, 2020

Topological and Geometric Data Analysis参考文献 38被引用 12

一句话总结

本文通过证明单个具有正则群作用的隐藏层即可实现有限群的泛等变性（及不变性），建立了等变多层感知机（MLP）的普遍性。关键贡献在于利用Burnside的指标表提出了一套群论框架，推导出实现普遍性的最小隐藏层阶数的紧致界，显著优于以往对置换群的结果，并表明具有阶$N$的等变图网络是普遍的。

ABSTRACT

Group invariant and equivariant Multilayer Perceptrons (MLP), also known as Equivariant Networks, have achieved remarkable success in learning on a variety of data structures, such as sequences, images, sets, and graphs. Using tools from group theory, this paper proves the universality of a broad class of equivariant MLPs with a single hidden layer. In particular, it is shown that having a hidden layer on which the group acts regularly is sufficient for universal equivariance (invariance). A corollary is unconditional universality of equivariant MLPs for Abelian groups, such as CNNs with a single hidden layer. A second corollary is the universality of equivariant MLPs with a high-order hidden layer, where we give both group-agnostic bounds and means for calculating group-specific bounds on the order of hidden layer that guarantees universal equivariance (invariance).

研究动机与目标

• 在有限群作用下，建立等变与不变多层感知机的通用近似定理。
• 解决实现普遍等变性所需的最小深度（隐藏层阶数），特别是针对置换群与阿贝尔群。
• 利用表示理论与Burnside的指标表，提供既与群无关又与群相关的隐藏层阶数界。
• 统一并扩展先前关于高阶不变网络与等变图网络的普遍性结果。
• 证明单个正则隐藏层即可实现普遍等变性，并在卷积神经网络与图网络中展示其应用。

提出的方法

• 使用群作用同态定义MLP中的等变性与不变性，通过置换群在输入与输出集合上的作用实现。
• 应用Burnside的指标表分解群作用的乘积空间，并识别正则轨道。
• 利用稳定子子群的核心分析重复乘积作用中逐渐减小的稳定子序列。
• 推导出普遍等变性的界：$ D \geq \log_2 |\mathcal{H}| $，其中$ \mathcal{H} $为输入作用的稳定子。
• 利用指标向量的单射性，将表上的代数运算与乘积空间中的轨道分解相对应。
• 应用正则作用与轨道分解的定理，证明单个正则隐藏层可确保通用近似。

实验结果

研究问题

• RQ1 对于任意有限群，单个具有正则群作用的隐藏层是否足以确保普遍等变性？
• RQ2 为实现特定群的普遍等变性或不变性，所需的高阶隐藏层的最小阶数是多少？
• RQ3 群特定的稳定子结构如何影响等变MLP中通用近似的深度需求？
• RQ4 能否利用指标表推导出比以往结果更紧致的置换群界？
• RQ5 当隐藏层阶数为$ N $时，等变图网络是否具有普遍性？与先前界相比如何？

主要发现

• 在等变MLP中，单个具有正则群作用的隐藏层足以实现普遍等变性（及不变性）。
• 对于阿贝尔群，包括两层卷积神经网络，通用近似无条件成立，且由正则隐藏层保证。
• 实现普遍等变性所需的最小隐藏层阶数受界于$ D \geq \log_2 |\mathcal{H}| $，其中$ \mathcal{H} $为输入作用的稳定子。
• 对于交错群$ \mathcal{A}_5 $，阶数$ D=3 $的隐藏层已足够产生正则轨道，优于一般界$ D \geq 5 $。
• $ D \geq \log_2 |\mathcal{H}| $的界优于先前对全对称群$ S_N $下通用不变性的$ \frac{1}{2}N(N-1) $界，尤其在$ N $较大时优势显著。
• 当隐藏层阶数为$ N $时，等变（超）图网络是普遍的，该结论通过指标表分解得到验证。