[论文解读] Universal approximations of permutation invariant/equivariant functions by deep neural networks

Akiyoshi Sannai, Yuuki Takai+1 more|arXiv (Cornell University)|Mar 5, 2019

Neural Networks and Applications参考文献 24被引用 49

一句话总结

本文证明针对有限群作用的 invariant/equivariant 通用逼近定理，并构建深度神经网络，利用表示理论在参数显著更少的情况下近似 G-invariant/equivariant 函数。

ABSTRACT

In this paper, we develop a theory about the relationship between $G$-invariant/equivariant functions and deep neural networks for finite group $G$. Especially, for a given $G$-invariant/equivariant function, we construct its universal approximator by deep neural network whose layers equip $G$-actions and each affine transformations are $G$-equivariant/invariant. Due to representation theory, we can show that this approximator has exponentially fewer free parameters than usual models.

研究动机与目标

• 激发研究尊重 permutation invariance/equivariance 的神经网络。
• 建立针对有限群的 invariant/equivariant 通用逼近定理。
• 利用表示理论量化 invariant/equivariant 架构的参数效率。

提出的方法

• 通过嵌入到对称群，将 G-invariant 和 G-equivariant 网络在有限群作用下定义。
• 通过 Kolmogorov–Arnold 表示来构建近似 invariant 函数的网络。
• 证明 G-equivariant 映射可以使用 Stabilizer 子群和不变量分量表示。
• 表明 invariant/equivariant 网络中的自由参数数量比标准网络指数级更少。

实验结果

研究问题

• RQ1 是否任意连续的 G-equivariant 函数都可以被带 ReLU 激活的 G-equivariant 神经网络统一近似？
• RQ2 如何利用 Stabilizer 子群将 G-equivariant 近似问题降维为 invariant 近似？
• RQ3 对于有限群，invariant/equivariant 网络与常规网络在参数数量上的对比是多少？
• RQ4 该结构化构造如何推广到对称群 S_n，并与现有的 invariant/equivariant 架构相关？

主要发现

• 对于任意有限群 G，建立了 invariant/equivariant 通用逼近定理。
• 当 G = S_n 时，等变近似器与如 Zaheer 等人 (2017) 的 permutation-equivariant 模型密切对应。
• 在 union-of-permutations 作用下，invariant/equivariant 模型的自由参数数量比常规模型指数级更少。
• 一种构造性方法将 G-equivariant 函数近似简化为 stabilizer-invariant 分量。
• 该方法利用表示理论来界定宽度/深度并证明参数效率。