[论文解读] On the Limitations of Representing Functions on Sets

Edward Wagstaff, Fabian B. Fuchs+3 more|arXiv (Cornell University)|Jan 25, 2019

Neural Networks and Applications被引用 30

一句话总结

本文证明，对于通过神经网络或高斯过程等方法在集合上进行连续函数逼近时，潜在空间维度必须至少与最大集合大小一样大，才能实现通用表示。它证明了在连续性约束下，固定维度的潜在空间是不足的，从而解决了先前依赖不连续映射的研究中存在的一项关键局限性。

ABSTRACT

Recent work on the representation of functions on sets has considered the use of summation in a latent space to enforce permutation invariance. In particular, it has been conjectured that the dimension of this latent space may remain fixed as the cardinality of the sets under consideration increases. However, we demonstrate that the analysis leading to this conjecture requires mappings which are highly discontinuous and argue that this is only of limited practical use. Motivated by this observation, we prove that an implementation of this model via continuous mappings (as provided by e.g. neural networks or Gaussian processes) actually imposes a constraint on the dimensionality of the latent space. Practical universal function representation for set inputs can only be achieved with a latent dimension at least the size of the maximum number of input elements.

研究动机与目标

• 识别使用固定维度潜在空间表示任意集合函数的根本限制。
• 挑战关于集合上置换不变函数可被小而固定维度的潜在空间普遍表示的假设。
• 确立连续性——对神经网络等实际模型至关重要——对潜在空间维度施加了必要的下界。
• 阐明为何基于可数定义域的先前理论结果对神经网络实现缺乏实际应用价值。
• 为基于求和分解的模型在集合上的通用函数表示提供必要且充分的条件。

提出的方法

• 分析求和分解作为实现置换不变性的一种方法：f(X) = ρ(∑_{x∈X} φ(x))。
• 区分可数与不可数输入定义域，认为只有不可数定义域才能确保对连续模型的实际相关性。
• 证明对于连续的 φ 和 ρ，潜在空间维度 N 必须至少等于输入元素的最大数量 M，才能实现通用函数表示。
• 以 [0,1]^M 上连续函数的通用逼近定理为基础，确立实际相关性。
• 建立 φ 和 ρ 的连续性对于神经网络和高斯过程实现通用逼近是必要的。
• 在附录 B 中提供正式证明，表明在连续性约束下，N ≥ M 是实现通用表示的必要且充分条件。

实验结果

研究问题

• RQ1 当映射为连续时，固定维度潜在空间是否能普遍表示所有置换不变的集合函数？
• RQ2 为何基于可数定义域的先前理论结果无法适用于神经网络等实际模型？
• RQ3 在连续求和分解下，实现集合上通用函数表示所需的最小潜在空间维度是多少？
• RQ4 连续性要求如何限制机器学习中基于集合的模型设计？
• RQ5 除了先前提出的充分条件外，是否存在通用函数表示在求和分解模型中的必要条件？

主要发现

• 当使用连续映射时，潜在空间维度至少为输入元素的最大数量 M，是实现通用函数表示的必要且充分条件。
• 先前假设可数定义域和不连续映射的结果，由于无法由神经网络或高斯过程实现，其实际应用价值有限。
• [0,1]^M 上连续函数的通用逼近定理要求不可数定义域，使得连续性成为实际模型的关键约束。
• 使用连续 φ 和 ρ 的求和分解模型，除非潜在维度 N ≥ M，否则无法普遍逼近所有置换不变函数。
• 依赖不连续映射的理论模型——尽管在数学上有效——无法推广到神经网络等现实世界实现中。
• 该研究结果广泛适用于任何连续实现的求和分解，包括神经网络和高斯过程，而不仅限于特定架构。