[论文解读] On Margins and Derandomisation in PAC-Bayes

Felix Biggs, Benjamin Guedj|arXiv (Cornell University)|Jul 8, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种统一框架，通过基于间隔的测度集中方法对PAC-Bayesian泛化界进行去随机化，从而为线性分类器、具有erf激活函数的单隐藏层网络以及深层ReLU网络提供更紧致且更简洁的界。核心贡献是一种基于间隔的去随机化技术，相较于先前工作，该技术具有显式的常数和简化的证明，同时引入了部分去随机化以在挑战性设置中实现鲁棒性。

ABSTRACT

We give a general recipe for derandomising PAC-Bayesian bounds using margins, with the critical ingredient being that our randomised predictions concentrate around some value. The tools we develop straightforwardly lead to margin bounds for various classifiers, including linear prediction -- a class that includes boosting and the support vector machine -- single-hidden-layer neural networks with an unusual \(\erf\) activation function, and deep ReLU networks. Further, we extend to partially-derandomised predictors where only some of the randomness is removed, letting us extend bounds to cases where the concentration properties of our predictors are otherwise poor.

研究动机与目标

• 为PAC-Bayesian学习中确定性预测器的紧致、可解释泛化界推导提供解决方案。
• 形式化建立基于间隔的鲁棒性与随机化预测器中测度集中之间的联系。
• 将PAC-Bayesian界扩展至经典去随机化方法失效的场景，特别是深层神经网络。
• 引入部分去随机化作为全去随机化因浓度性质差而不可行时的灵活替代方案。
• 简化现有间隔界证明并改进常数，尤其针对线性和ReLU网络。

提出的方法

• 通过构建一个围绕确定性预测规则集中分布的随机化预测器代理分布来实现去随机化，其中集中程度由间隔大小控制。
• 该方法依赖于子高斯随机变量的推广，以建模随机化预测器与其均值之间的偏差，从而实现高概率集中界。
• 关键创新在于采用部分去随机化，即仅对部分权重进行去随机化，从而在浓度性质较弱的情况下仍能获得界。
• 该框架利用测度集中不等式来控制随机化预测器的偏离，将确定性界替换为高概率保证。
• 对于深层ReLU网络，该方法借鉴并略微改进了Neyshabur等人（2018）的证明结构，对权重范数和间隔参数的依赖更紧致。
• 该方法被应用于线性预测、随机特征映射、erf激活网络以及深层ReLU网络，在每种情况下均得出了新界或简化后的界。

实验结果

研究问题

• RQ1 如何利用基于间隔的集中方法系统地对PAC-Bayesian界进行去随机化？
• RQ2 浓度性质在推导确定性预测器更紧致泛化界中的作用是什么？
• RQ3 部分去随机化是否能将PAC-Bayesian界的适用范围扩展至浓度性质较差的模型？
• RQ4 在维度依赖性和紧致性方面，基于间隔的界与基于覆盖数的方法相比如何？
• RQ5 该框架能否简化或改进现有线性与深层神经网络的间隔界？

主要发现

• 本文推导出一个新的$L_2$-正则化线性分类界，优于Bartlett与Shawe-Taylor（1998）的工作，并与Grønlund等人（2020）的下界阶数一致，且常数显式且较小。
• 对于具有erf激活函数的单隐藏层网络，该方法提出了一种新颖的基于间隔的界，使用混合分布代理预测器，实现了此前未被解决场景下的去随机化。
• 该框架对深层ReLU网络的改进略高于Neyshabur等人（2018），对权重范数和间隔参数的依赖更紧致。
• 部分去随机化使得仅最后几层为确定性的深层网络也能获得界，从而将适用范围扩展至早期层浓度性质较弱的模型。
• 该方法揭示了先前基于覆盖数的方法导致维度依赖性次优，凸显了在神经网络中需要更优的集中界。
• 作者证明，若能对神经网络获得更紧致的集中界，将直接导致更优的基于间隔的泛化界，提示未来工作的关键方向。