[论文解读] Non-Convex SGD Learns Halfspaces with Adversarial Label Noise

Ilias Diakonikolas, Vasilis Kontonis+2 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Algorithms参考文献 15被引用 4

一句话总结

该论文表明，在数据分布表现良好（如对数凹或次高斯）时，对非凸逻辑损失代理函数使用随机梯度下降（SGD）可高效学习齐次半空间，即使在对抗性标签噪声下亦然。它表明，非凸SGD可实现 $O(\mathrm{opt}) + \epsilon$ 的误分类误差，而凸代理函数即使在高斯边际下也固有地存在 $\omega(\mathrm{opt})$ 的误差。

ABSTRACT

We study the problem of agnostically learning homogeneous halfspaces in the distribution-specific PAC model. For a broad family of structured distributions, including log-concave distributions, we show that non-convex SGD efficiently converges to a solution with misclassification error $O(\opt)+\eps$, where $\opt$ is the misclassification error of the best-fitting halfspace. In sharp contrast, we show that optimizing any convex surrogate inherently leads to misclassification error of $ω(\opt)$, even under Gaussian marginals.

研究动机与目标

• 设计一种简单且实用的算法，用于在对抗性标签噪声下学习齐次半空间，并实现接近最优的误差保证。
• 证明通过光滑0-1损失代理函数的非凸优化，利用SGD可在分布表现良好时实现 $O(\mathrm{opt}) + \epsilon$ 的误差。
• 证明凸代理函数即使在高斯边际下也固有地无法实现 $O(\mathrm{opt}) + \epsilon$ 的误差。
• 建立非凸逻辑损失的驻点在各向同性对数凹、次高斯及重尾分布下对应于近似最优的半空间。

提出的方法

• 该方法使用非凸代理损失 $\mathcal{L}_{\sigma}(\mathbf{w}) = \mathbb{E}_{(\mathbf{x},y)\sim\mathcal{D}}[S_\sigma(-y\langle\mathbf{w},\mathbf{x}\rangle)]$，其中 $S_\sigma(t) = 1/(1 + e^{-t/\sigma})$ 为逻辑函数。
• 在单位球面 $\|\mathbf{w}\|_2 = 1$ 上进行优化，以确保尺度不变性与稳定性。
• 分析依赖于几何集中性质：对于该族中的任意分布，满足 $\|\mathbf{x}\|_2 \geq Z$ 区域的概率质量受 $\mathrm{opt}$ 限制，其中 $Z$ 基于尾部行为选取。
• 证明任何与最优权重向量 $\mathbf{w}^*$ 夹角 $\theta(\mathbf{w}, \mathbf{w}^*) \leq \theta$ 的半空间，其梯度非零，因此不可能是凸代理函数的最小值点。
• 该论证利用反浓度与径向对称性，表明即使在对抗性标签翻转下，梯度在最优半空间附近也不会消失。
• 关键洞见是：非凸损失可避免在最优解附近出现虚假驻点，而凸代理函数则不能。

实验结果

研究问题

• RQ1 在对抗性标签噪声下，对光滑0-1损失代理函数使用非凸SGD能否实现接近最优误分类误差的齐次半空间学习？
• RQ2 为何凸代理函数即使在高斯边际下也无法实现 $O(\mathrm{opt}) + \epsilon$ 的误差？
• RQ3 何种分布假设可确保非凸逻辑损失的驻点为近似最优？
• RQ4 分布的几何特性（如对数凹、重尾）如何影响代理损失中虚假驻点的存在？
• RQ5 在不可知半空间学习设定下，是否可使用如SGD这类简单单阶段优化方法，达到复杂多阶段算法的误差保证？

主要发现

• 在各向同性对数凹分布下，对逻辑损失使用非凸SGD，可实现齐次半空间的误分类误差 $O(\mathrm{opt}) + \epsilon$。
• 对于高斯边际，任何凸代理函数均导致误分类误差 $\omega(\mathrm{opt})$，即无法实现 $O(\mathrm{opt}) + \epsilon$ 的误差。
• 在各向同性对数凹分布下，误差界为 $O(\mathrm{opt}) + \epsilon$，且样本复杂度与运行时间复杂度均为多项式。
• 对于尾指数 $s > 2$ 的重尾分布，误差界为 $O(\mathrm{opt}^{1-1/s}) + \epsilon$，当 $\mathrm{opt}$ 较小时仍保持近似最优。
• 凸代理函数的梯度在最优半空间的任意 $\theta$-邻域内均不为零，其中 $\theta = \Omega(\mathrm{opt}^{1-1/s})$，证明此类点不可能是最小值点。
• 分析表明，非凸损失可避免在最优解附近出现虚假驻点，从而使得SGD能够收敛至近似最优解。