[论文解读] On Representing (Anti)Symmetric Functions

Marcus Hütter|arXiv (Cornell University)|Jul 30, 2020

Neural Networks and Applications参考文献 18被引用 14

一句话总结

本文建立了等变与反对称神经网络在逼近连续（反）对称函数方面的普遍性，证明了等变多层感知机（EMLPs）可以普遍逼近对称函数，而使用广义斯莱特行列式（GSD）的FermiNet可以逼近任意连续反对称函数，并为一维情形提供了显式的连续性和可微性保证，而高维情形仍存在开放问题。

ABSTRACT

Permutation-invariant, -equivariant, and -covariant functions and anti-symmetric functions are important in quantum physics, computer vision, and other disciplines. Applications often require most or all of the following properties: (a) a large class of such functions can be approximated, e.g. all continuous function, (b) only the (anti)symmetric functions can be represented, (c) a fast algorithm for computing the approximation, (d) the representation itself is continuous or differentiable, (e) the architecture is suitable for learning the function from data. (Anti)symmetric neural networks have recently been developed and applied with great success. A few theoretical approximation results have been proven, but many questions are still open, especially for particles in more than one dimension and the anti-symmetric case, which this work focusses on. More concretely, we derive natural polynomial approximations in the symmetric case, and approximations based on a single generalized Slater determinant in the anti-symmetric case. Unlike some previous super-exponential and discontinuous approximations, these seem a more promising basis for future tighter bounds. We provide a complete and explicit universality proof of the Equivariant MultiLayer Perceptron, which implies universality of symmetric MLPs and the FermiNet.

研究动机与目标

• 建立能够精确表示（反）对称函数的神经网络架构的理论基础，这对量子物理和点云处理至关重要。
• 解决连续反对称神经网络是否能普遍逼近所有连续反对称函数的开放问题，尤其是在高维情形下。
• 为等变多层感知机（EMLPs）提供构造性且完整的普遍性证明，其为对称与反对称网络提供了基础。
• 分析基于广义斯莱特行列式（GSD）的表示的光滑性与可微性，特别是与范德蒙德行列式中可微性损失的关系。
• 识别并澄清在d > 1维中高效、连续且可微的反对称函数表示的开放问题。

提出的方法

• 采用EMLPs的构造性普遍性证明，表明其可通过共享权重和群等变表示逼近任意连续等变函数。
• 应用多重对称多项式的极化基，为d=1情形下对称函数构造出连续、可微且高效的表示。
• 在一维情形下将广义斯莱特行列式（GSD）简化为范德蒙德行列式，以分析反对称函数表示的光滑性与可微性。
• 证明当底层函数为C^k时，单个GSD可表示所有C^{k+n(n-1)/2}的反对称函数，建立光滑性权衡。
• 通过求和或行列式运算对EMLP输出进行对称化或反对称化，将EMLP普遍性结果扩展至对称MLP和FermiNet。
• 分析近似误差与参数效率，指出权重共享使参数量减少约n/2，但基底大小随O(n^d)增长，影响表示能力。

实验结果

研究问题

• RQ1 等变多层感知机（EMLPs）是否能普遍逼近所有连续对称与反对称函数？
• RQ2 对于d=1，单个广义斯莱特行列式（GSD）是否能表示所有连续反对称函数，且底层函数所需的光滑度为何？
• RQ3 对于d>1，是否存在一种连续且可微的表示方式，能用单个GSD表示所有连续反对称函数，或是否不可避免出现不连续性？
• RQ4 输入函数的光滑性与GSD表示的光滑性之间有何关系，特别是可微性损失方面？
• RQ5 能否构建出高效、连续且可微的神经网络架构，仅表示反对称函数而无近似误差？

主要发现

• 等变多层感知机（EMLP）被证明对连续等变函数具有普遍性，这意味着其对称MLP和FermiNet也具有普遍性。
• 对于d=1，所有属于C^{k+n(n-1)/2}的连续反对称函数均可表示为C^k函数矩阵的行列式，建立了保持光滑性的表示。
• 在一维情形下，通过GSD的表示保持了连续性和可微性，仅存在受控的损失，当输入函数为C^k时，GSD本身也为C^k。
• 对于d>1，普遍性证明依赖于表示中的不连续成分，尚不清楚是否存在所有连续反对称函数的连续表示。
• EMLPs的近似误差预计与标准MLPs类似，但因权重共享而参数量减少，尽管基底大小随O(n^d)增长。
• FermiNet作为基于GSD架构的特例，可在d>1时以L^p范数逼近任意连续反对称函数，但L^∞情形仍为开放问题。