[论文解读] Time/Accuracy Tradeoffs for Learning a ReLU with respect to Gaussian Marginals

Surbhi Goel, Sushrut Karmalkar+1 more|arXiv (Cornell University)|Nov 4, 2019

Blind Source Separation Techniques被引用 17

一句话总结

该论文首次建立了在高斯边缘分布下，基于平方损失学习 ReLU 的计算困难性结果，表明实现误差在 $\mathsf{opt} + \epsilon$ 以内的目标，其难度等价于学习带噪声的稀疏奇偶性——这意味着梯度下降无法在多项式时间内收敛到全局最小值。此外，该论文提出了一种多项式时间算法，通过将问题新颖地约化为带 0/1 损失的带噪声半空间学习，实现了误差 $O(\mathsf{opt}^{2/3}) + \epsilon$。

ABSTRACT

We consider the problem of computing the best-fitting ReLU with respect to square-loss on a training set when the examples have been drawn according to a spherical Gaussian distribution (the labels can be arbitrary). Let $\mathsf{opt} < 1$ be the population loss of the best-fitting ReLU. We prove: 1. Finding a ReLU with square-loss $\mathsf{opt} + ε$ is as hard as the problem of learning sparse parities with noise, widely thought to be computationally intractable. This is the first hardness result for learning a ReLU with respect to Gaussian marginals, and our results imply -{\emph unconditionally}- that gradient descent cannot converge to the global minimum in polynomial time. 2. There exists an efficient approximation algorithm for finding the best-fitting ReLU that achieves error $O(\mathsf{opt}^{2/3})$. The algorithm uses a novel reduction to noisy halfspace learning with respect to $0/1$ loss. Prior work due to Soltanolkotabi [Sol17] showed that gradient descent can find the best-fitting ReLU with respect to Gaussian marginals, if the training set is exactly labeled by a ReLU.

研究动机与目标

• 研究在输入服从高斯分布且存在标签噪声时，基于平方损失学习 ReLU 的计算复杂度。
• 确定多项式时间算法是否能够实现接近最优 $\mathsf{opt}$ 的误差，尤其是在无监督（噪声）设置下。
• 为在高斯边缘分布下学习 ReLU 开发一种新的近似算法，并提供可证明的误差界。
• 阐明先前使用梯度下降学习 ReLU 的研究中，对无噪声（可实现）假设的必要性。

提出的方法

• 将高斯边缘分布下学习 ReLU 的问题约化为学习带噪声的稀疏奇偶性问题，基于标准假设建立了计算困难性。
• 对训练数据实施一种新颖的变换，将其转化为布尔标签问题，从而实现向带 0/1 损失下无监督学习半空间问题的约化。
• 利用 ReLU 函数的埃尔米特展开分析推导出定量的相关性界，克服了 ReLU 已知傅里叶系数公式缺失的障碍。
• 应用马尔可夫不等式与几何集中性，界定了与最优 ReLU 不在 $\alpha$-接近范围内的点的比例，从而支持误差分析。
• 利用已知的带 0/1 损失下无监督半空间学习的算法，恢复出与最优 $\mathbf{w}^*$ 接近的权重向量 $\mathbf{w}$，其误差界通过角度与 $L^2$-范数关系推导得出。
• 通过设置 $\alpha = \mathsf{opt}^{1/3}$，在近似误差与噪声之间实现权衡优化，最终得到 $O(\mathsf{opt}^{2/3})$ 的误差界。

实验结果

研究问题

• RQ1 当输入分布为高斯分布且标签存在噪声时，学习误差为 $\mathsf{opt} + \epsilon$ 的 ReLU 是否具有计算困难性？
• RQ2 在无监督设置下，梯度下降能否在多项式时间内收敛到高斯边缘分布下 ReLU 学习的全局最小值？
• RQ3 在多项式时间内，学习高斯边缘分布下 ReLU 的最佳可实现近似误差是多少？
• RQ4 近似误差如何依赖于最优损失 $\mathsf{opt}$？是否可以将其改进至 $O(\mathsf{opt}^{2/3})$ 以下？
• RQ5 ReLU 模型中的偏置有何影响？为何先前的正面结果均假设 ReLU 无偏置？

主要发现

• 实现误差为 $\mathsf{opt} + \epsilon$ 的 ReLU 与学习带噪声的稀疏奇偶性具有相同的计算困难性，这意味着在标准复杂度假设下，不存在多项式时间算法。
• 即使在无条件假设下，梯度下降也无法在多项式时间内收敛到无监督设置下高斯边缘分布中 ReLU 学习的全局最小值。
• 存在一种多项式时间算法，可实现误差 $O(\mathsf{opt}^{2/3}) + \epsilon$，这是该问题首个非平凡的近似保证。
• 该近似算法依赖于一种新颖的约化方法，将问题转化为带 0/1 损失的无监督半空间学习，随后通过几何集中性与 $L^2$-范数界进行误差分析。
• 误差界中指数 $2/3$ 的来源是平均化论证，以及分析中对最优选择 $\alpha = \mathsf{opt}^{1/3}$ 的使用。
• 常数函数 $1/2$ 的平方损失可能低于任何无偏置 ReLU，这凸显了先前研究及本文结果中无偏置假设的重要性。