[论文解读] Sharper bounds for uniformly stable algorithms

Olivier Bousquet, Yegor Klochkov+1 more|arXiv (Cornell University)|Oct 17, 2019

Machine Learning and Algorithms参考文献 17被引用 22

一句话总结

本文提出了一种新的简洁证明，针对统一稳定学习算法的矩界，所得泛化界比Feldman等人先前的结果更紧致，实现了超越。该界被证明近乎最优，其下界匹配度达到对数因子级别，且依赖于一个针对弱相关随机变量的新型集中不等式。

ABSTRACT

Deriving generalization bounds for stable algorithms is a classical question in learning theory taking its roots in the early works by Vapnik and Chervonenkis (1974) and Rogers and Wagner (1978). In a series of recent breakthrough papers by Feldman and Vondrak (2018, 2019), it was shown that the best known high probability upper bounds for uniformly stable learning algorithms due to Bousquet and Elisseef (2002) are sub-optimal in some natural regimes. To do so, they proved two generalization bounds that significantly outperform the simple generalization bound of Bousquet and Elisseef (2002). Feldman and Vondrak also asked if it is possible to provide sharper bounds and prove corresponding high probability lower bounds. This paper is devoted to these questions: firstly, inspired by the original arguments of Feldman and Vondrak (2019), we provide a short proof of the moment bound that implies the generalization bound stronger than both recent results (Feldman and Vondrak, 2018, 2019). Secondly, we prove general lower bounds, showing that our moment bound is sharp (up to a logarithmic factor) unless some additional properties of the corresponding random variables are used. Our main probabilistic result is a general concentration inequality for weakly correlated random variables, which may be of independent interest.

研究动机与目标

• 解决一个开放问题：在Feldman等人现有最优结果的基础上，是否能为统一稳定算法获得更锐利的泛化界？
• 提供一种更简洁、更直接的矩界证明方法，该方法所导出的泛化保证强于以往方法。
• 通过构造匹配的下界，证明所提边界在对数因子范围内近乎最优。
• 开发一种适用于弱相关随机变量的一般集中不等式，该结果在概率论中可能具有独立意义。

提出的方法

• 基于Feldman与Vondrák框架的洞见，推导统一稳定算法的新矩界，从而获得改进的高概率泛化界。
• 提出一种专为弱相关随机变量设计的新型集中不等式，该不等式支撑主要理论结果。
• 利用该矩界推导出比经典Bousquet界与现代Feldman界更紧的高概率泛化界。
• 通过构造对抗性样本建立匹配下界，表明在无额外假设下，该界无法被显著改进。
• 利用统一稳定性的结构控制泛化误差的矩，从而实现更精确的尾部概率估计。
• 通过证明任何改进都需依赖底层随机变量的额外性质，从而验证边界的最优性。

实验结果

研究问题

• RQ1 能否为统一稳定学习算法推导出比Feldman等人现有最优结果更紧的泛化界？
• RQ2 Feldman与Vondrák工作中提出的矩界方法是否可被简化为一种更直接的证明，同时仍保持最优性能？
• RQ3 能否通过匹配下界证明所提边界近乎最优？
• RQ4 弱依赖性（相关性）在推导稳定算法泛化误差集中不等式中起什么作用？
• RQ5 在无额外结构假设下，统一稳定算法的泛化界是否存在根本性极限？

主要发现

• 本文提出一种新的简洁证明，其导出的矩界所隐含的泛化界严格强于经典Bousquet界与近期Feldman等人的结果。
• 所推导的边界在自然参数范围内显著优于现有高概率泛化界，尤其在稳定性参数依赖关系上表现更优。
• 作者建立了匹配的下界，表明所提矩界在不使用随机变量额外性质的前提下，已近乎最优，仅差对数因子。
• 发展了一般性集中不等式以处理弱相关随机变量，这是关键的技术贡献，且可能在泛化界之外的领域具有广泛应用。
• 研究结果解决了Feldman与Vondrák提出的开放问题，即更锐利边界的可行性，确认所提边界近乎最优。
• 分析证实Bousquet界在某些参数范围内为次优，而新边界显著缩小了差距。