[论文解读] Random ReLU Features: Universality, Approximation, and Composition.

Yitong Sun, Anna C. Gilbert+1 more|arXiv (Cornell University)|Oct 10, 2018

Machine Learning and ELM参考文献 12被引用 2

一句话总结

本文通过其再生核希尔伯特空间（RKHS）建立了随机ReLU特征在逼近任意函数时的普遍性，证明其构成一种普遍一致的学习方法。然而，研究揭示了深度差异：尽管使用这些特征的浅层模型在处理复合函数时表现不佳，但权重有界的深层ReLU网络却能高效逼近这些函数，揭示了浅层随机特征模型的根本局限性。

ABSTRACT

We study the approximation properties of random ReLU features through their reproducing kernel Hilbert space (RKHS). We first prove a universality theorem for the RKHS induced by random features whose feature maps are of the form of nodes in neural networks. The universality result implies that the random ReLU features method is a universally consistent learning algorithm. We prove that despite the universality of the RKHS induced by the random ReLU features, composition of functions in it generates substantially more complicated functions that are harder to approximate than those functions simply in the RKHS. We also prove that such composite functions can be efficiently approximated by multi-layer ReLU networks with bounded weights. This depth separation result shows that the random ReLU features models suffer from the same weakness as that of shallow models. We show in experiments that the performance of random ReLU features is comparable to that of random Fourier features and, in general, has a lower computational cost. We also demonstrate that when the target function is the composite function as described in the depth separation theorem, 3-layer neural networks indeed outperform both random ReLU features and 2-layer neural networks.

研究动机与目标

• 通过其RKHS，建立随机ReLU特征在函数逼近中的普遍性。
• 研究随机ReLU特征RKHS内复合函数的逼近能力。
• 分析浅层随机ReLU特征模型相较于深层神经网络的局限性。
• 证明具有有界权重的多层ReLU网络能够高效逼近难以用浅层模型学习的复合函数。

提出的方法

• 对随机ReLU特征映射所诱导的RKHS进行理论分析，其结构类似于神经网络中的激活节点。
• 证明随机ReLU特征RKHS的普遍性，表明其可在紧致域上逼近任意连续函数。
• 构造一类在随机ReLU特征RKHS中难以逼近的复合函数类。
• 证明此类复合函数可被具有有界权重的深层ReLU网络高效逼近，从而确立深度差异。
• 在逼近精度与计算成本方面，对随机ReLU特征与随机傅里叶特征进行实证比较。
• 通过实验评估目标函数为复合函数时的性能，比较二层网络、三层网络与随机ReLU特征的表现。

实验结果

研究问题

• RQ1 随机ReLU特征所诱导的RKHS是否具有函数逼近的普遍性？
• RQ2 能否由浅层模型高效逼近随机ReLU特征RKHS中函数的复合？
• RQ3 具有有界权重的深层ReLU网络是否在复合函数上优于浅层随机ReLU特征模型？
• RQ4 随机ReLU特征的逼近性能与随机傅里叶特征相比如何？
• RQ5 随机ReLU特征相对于其他随机特征方法的计算成本如何？

主要发现

• 随机ReLU特征所诱导的RKHS具有普遍性，证实随机ReLU特征构成一种普遍一致的学习算法。
• 尽管RKHS具有普遍性，但在其中进行函数复合会产生显著更复杂的函数，其逼近难度远高于仅在RKHS中定义的函数。
• 在随机ReLU特征RKHS中难以逼近的复合函数，可被具有有界权重的深层ReLU网络高效逼近。
• 随机ReLU特征在逼近性能上可与随机傅里叶特征相媲美，但计算成本更低。
• 实验结果表明，当目标函数为深度差异定理中定义的复合函数时，三层ReLU网络的表现优于二层网络和随机ReLU特征。