[论文解读] Statistical-Query Lower Bounds via Functional Gradients

Surbhi Goel, Aravind Gollakota+1 more|arXiv (Cornell University)|Jun 29, 2020

Machine Learning and Algorithms参考文献 34被引用 13

一句话总结

该论文通过一种新颖的函数梯度提升框架，首次建立了在高斯边缘下对非多项式激活函数（如ReLU、Sigmoid和半空间）进行鲁棒学习的统计查询（SQ）下界。证明了指数级查询复杂度下界，表明任何SQ算法要么必须使用超多项式数量的查询，要么必须采用极小的容差，从而排除了这些问题的高效通用SQ学习。

ABSTRACT

We give the first statistical-query lower bounds for agnostically learning any non-polynomial activation with respect to Gaussian marginals (e.g., ReLU, sigmoid, sign). For the specific problem of ReLU regression (equivalently, agnostically learning a ReLU), we show that any statistical-query algorithm with tolerance $n^{-(1/ε)^b}$ must use at least $2^{n^c} ε$ queries for some constant $b, c > 0$, where $n$ is the dimension and $ε$ is the accuracy parameter. Our results rule out general (as opposed to correlational) SQ learning algorithms, which is unusual for real-valued learning problems. Our techniques involve a gradient boosting procedure for "amplifying" recent lower bounds due to Diakonikolas et al. (COLT 2020) and Goel et al. (ICML 2020) on the SQ dimension of functions computed by two-layer neural networks. The crucial new ingredient is the use of a nonstandard convex functional during the boosting procedure. This also yields a best-possible reduction between two commonly studied models of learning: agnostic learning and probabilistic concepts.

研究动机与目标

• 在高斯边缘下，为鲁棒学习非多项式激活函数（如ReLU、Sigmoid和符号函数）建立首个统计查询（SQ）下界。
• 通过证明适用于一般统计查询的结果，克服先前SQ下界所受限制（如相关性查询或Lipschitz查询），从而突破这些限制。
• 开发一种函数梯度提升过程，将先前关于两层神经网络的SQ维数下界放大。
• 在鲁棒学习与概率概念之间建立最优的归约关系，连接学习理论中两个核心模型。
• 为ReLU和Sigmoid回归提供紧致的上下界，揭示SQ效率的极限。

提出的方法

• 在梯度提升过程中引入一种非标准的凸泛函，以放大先前工作（Diakonikolas等，Goel等）中获得的SQ维数下界。
• 使用Hermite多项式展开来逼近目标函数，并通过统计查询在容差τ内估计系数。
• 应用柯西-施瓦茨不等式和范数集中性论证，以在相关性上界定估计假设与真实假设之间的误差。
• 通过截断Hermite逼近构造一个归一化的假设p，以确保有界范数并维持相关性保证。
• 通过将容差τ与精度ε关联，推导出查询复杂度下界，表明小τ或大量查询不可避免。
• 在新框架下，建立鲁棒学习与概率概念之间的归约，证明其在SQ复杂度上的等价性。

实验结果

研究问题

• RQ1 通用统计查询算法能否在高斯边缘下高效学习ReLU函数？
• RQ2 在高斯输入下，鲁棒学习非多项式激活函数（如ReLU和Sigmoid）的固有查询复杂度是多少？
• RQ3 能否在不限制查询类型（如仅限相关性或Lipschitz查询）的前提下，为实值学习问题建立SQ下界？
• RQ4 在高斯边缘下，ReLU、Sigmoid和半空间学习的SQ复杂度如何比较？
• RQ5 在统计查询模型中，鲁棒学习与概率概念之间是否存在紧密联系？

主要发现

• 对于ReLU回归，任何容差τ = n^(-(1/ε)^b)的SQ算法，必须至少进行2^{n^c}ε次查询（其中b, c > 0为常数），从而确立了指数级下界。
• 对于Sigmoid激活，当容差τ = n^{-Θ(log²1/ε)}时，查询复杂度至少为2^{n^c}ε，与目前已知的最佳上界仅相差对数因子。
• 对于半空间，该论文首次在高斯边缘下证明了指数级SQ下界，当τ = n^{-Θ(1/ε)}时，需要2^{n^c}ε次查询。
• 这些结果排除了ReLU、Sigmoid和半空间的通用SQ学习算法，这在以往较为罕见，因为大多数先前的SQ下界均依赖于查询类型的限制。
• 该框架实现了鲁棒学习与概率概念之间的最优归约，证明了其在SQ复杂度上的等价性。
• ReLU和Sigmoid学习的上界几乎与下界匹配，表明所推导的查询复杂度在对数因子范围内是紧致的。