[论文解读] The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks

James B. Simon, Madeline Dickens+2 more|arXiv (Cornell University)|Oct 8, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了Eigenlearning框架，这是一种新颖的守恒定律视角，通过将核岭回归（KRR）泛化分析视为在固定‘可学习性’预算下，核特征模态之间的竞争，从而简化了分析。核心贡献是仅使用基础线性代数，便得到了测试风险和泛化度量的闭式、可解释理论，揭示了与统计物理的深层联系，并为深度学习泛化和对抗鲁棒性提供了新的理论洞见。

ABSTRACT

We derive simple closed-form estimates for the test risk and other generalization metrics of kernel ridge regression (KRR). Relative to prior work, our derivations are greatly simplified and our final expressions are more readily interpreted. These improvements are enabled by our identification of a sharp conservation law which limits the ability of KRR to learn any orthonormal basis of functions. Test risk and other objects of interest are expressed transparently in terms of our conserved quantity evaluated in the kernel eigenbasis. We use our improved framework to: i) provide a theoretical explanation for the "deep bootstrap" of Nakkiran et al (2020), ii) generalize a previous result regarding the hardness of the classic parity problem, iii) fashion a theoretical tool for the study of adversarial robustness, and iv) draw a tight analogy between KRR and a well-studied system in statistical physics.

研究动机与目标

• 通过一种新的守恒定律，简化并重新诠释现有核岭回归（KRR）泛化理论结果。
• 为KRR中的测试风险和其他泛化度量提供一种透明、闭式框架以进行估计。
• 通过统一的理论视角解释深度学习中的经验现象，例如‘深度自助法’（deep bootstrap）和对抗鲁棒性。
• 在KRR与统计物理中的自由费米子气体模型之间建立紧密类比，实现跨领域洞察。
• 提供一种比以往依赖复制理论或随机矩阵理论的工作更易理解的KRR泛化推导。

提出的方法

• 将‘可学习性’定义为守恒量：目标函数与预测函数之间的内积，受训练样本数量的约束。
• 推导出守恒定律：在任意正交函数基下，总可学习性不能超过训练样本数量，且在岭参数为零时取等号。
• 使用闭式方程（如式7–14）将测试风险、预测协方差和其他度量表达为特征模态特定可学习性的函数。
• 将该框架应用于离散和连续设置下的KRR，通过扰动参数δ/M对有限岭参数和样本大小进行修正。
• 利用该框架推导出基于预测函数平滑性的对抗鲁棒性估计器，并分析深度自助法现象。
• 建立KRR与自由费米子气体之间的正式类比，借助已知的物理结果来指导KRR行为的理解。

实验结果

研究问题

• RQ1 如何仅使用基础线性代数，以闭式、可解释的方式表达核岭回归中的泛化度量？
• RQ2 宽神经网络中观察到的‘深度自助法’现象的理论基础是什么？能否通过特征模态竞争加以解释？
• RQ3 可学习性的守恒如何限制KRR学习正交目标函数的能力？
• RQ4 该框架能否为分析机器学习模型中的对抗鲁棒性提供新的理论工具？
• RQ5 核岭回归与统计物理中自由费米子气体之间的精确数学类比是什么？

主要发现

• 在任意正交函数基上，总可学习性是守恒的，且受训练样本数量的限制，当岭参数为零时取等号。
• KRR中的测试风险和预测协方差可通过特征模态可学习性以闭式表达，相较于以往基于复制理论的推导，实现了显著简化。
• 该框架通过识别两个不同的训练阶段——早期和晚期——解释了‘深度自助法’现象，其中不同的特征模态主导学习过程。
• 推导出一种新的预测函数平滑性估计器，为研究对抗鲁棒性提供了理论工具。
• 该系统与自由费米子气体表现出紧密类比，其中特征模态可学习性对应于费米子占据数，从而可借鉴统计物理的洞察。
• 推导出岭参数κ的解析边界，表明其随训练样本数量增加而减小，且对核特征值谱敏感。