[论文解读] Smoothness, Low Noise and Fast Rates

Nathan Srebro, Karthik Sridharan+1 more|arXiv (Cornell University)|Sep 20, 2010

Machine Learning and Algorithms参考文献 32被引用 53

一句话总结

本文为具有 H-光滑损失函数和 Rademacher 复杂度为 Rn 的假设类的经验风险最小化（ERM）建立了改进的过剩风险界。在可分情况下，推导出 Õ(RH/n) 的快速学习率，并在更一般情况下得到 Õ(√L∗RH/n + RH/n) 的界，同时为光滑、非负目标的在线和随机凸优化提供了类似保证。

ABSTRACT

We establish an excess risk bound of Õ HR 2 n + √ HL∗Rn for ERM with an H-smooth loss function and a hypothesis class with Rademacher complexity Rn, where L ∗ is the best risk achievable by the hypothesis class. For typical hypothesis classes where Rn = √ R/n, this translates to a learning rate of Õ (RH/n) in the separable (L ∗ = 0) case and Õ RH/n + √ L ∗) RH/n more generally. We also provide similar guarantees for online and stochastic convex optimization of a smooth non-negative objective. 1

研究动机与目标

• 推导经验风险最小化（ERM）在损失函数为 H-光滑且假设类具有有界 Rademacher 复杂度时的更紧的过剩风险界。
• 刻画学习率对光滑参数 H、最优风险 L∗ 和假设类复杂度 Rn 的依赖关系。
• 将分析从 ERM 扩展到具有光滑、非负目标的在线和随机凸优化设置。
• 在低噪声条件下建立快速收敛速率，特别是当 L∗ 较小或为零时。
• 提供一个统一的框架，以理解光滑性与复杂度如何共同影响泛化性能。

提出的方法

• 使用 Rademacher 复杂度作为假设类复杂度的度量，分析具有 H-光滑损失函数的 ERM。
• 推导出过剩风险界的 Õ(HR²/n + √(HL∗R)/n)，其中 Rn 为 Rademacher 复杂度，L∗ 为最优风险。
• 通过集中与光滑性论证，控制经验风险与真实风险之间的偏差。
• 通过利用目标的光滑性与非负性，将分析适应于在线与随机凸优化。
• 使用统计学习理论中的标准工具，包括对称化与链式法，以界复杂度项 Rn。
• 通过将典型的 Rn = √R/n 代入一般界，推导出学习率，得到可分情况下的 Õ(RH/n) 和一般情况下的 Õ(√L∗RH/n + RH/n)。

实验结果

研究问题

• RQ1 对于具有 H-光滑损失函数和 Rademacher 复杂度为 Rn 的假设类的 ERM，最优的过剩风险界是什么？
• RQ2 光滑性与低噪声（L∗ 较小）如何共同影响 ERM 中的学习率？
• RQ3 是否可以为光滑、非负目标的在线与随机凸优化建立类似的快速率？
• RQ4 学习率对光滑参数 H、复杂度 Rn 和最优风险 L∗ 的依赖关系如何？
• RQ5 在典型假设如 Rn = √R/n 下，一般过剩风险界如何简化？

主要发现

• 本文为具有 H-光滑损失和 Rademacher 复杂度为 Rn 的假设类的 ERM 建立了 Õ(HR²/n + √(HL∗R)/n) 的过剩风险界。
• 在可分情况下（L∗ = 0），学习率简化为 Õ(RH/n)，在光滑性和低复杂度下实现快速率。
• 对于一般情况（L∗ > 0），界变为 Õ(√L∗RH/n + RH/n)，表明当 L∗ 较小时可获得改进的速率。
• 该分析可扩展至在线与随机凸优化，为光滑、非负目标提供了类似的快速率。
• 在标准假设（如 Rn = √R/n）下，所推导的界是紧的，并反映了光滑性、噪声与复杂度之间的相互作用。
• 结果表明，光滑性与低噪声共同作用可实现比标准速率更快的收敛，即使在没有强凸性的情况下亦然。