[论文解读] Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory

Yunbei Xu, Assaf Zeevi|arXiv (Cornell University)|Nov 12, 2020

Sparse and Compressive Sensing Techniques参考文献 80被引用 4

一句话总结

本文提出了一种名为“统一局部收敛”的新框架，用于在统计学习中推导出精确的、与问题相关的泛化误差界。该框架在慢速和快速率两种情形下均实现了最优的方差和损失依赖速率，使矩惩罚估计器及梯度下降等迭代算法能够在非凸学习、随机优化和缺失数据问题中实现接近最优的有限样本性能。

ABSTRACT

We study problem-dependent rates, i.e., generalization errors that scale near-optimally with the variance, the effective loss, or the gradient norms evaluated at the "best hypothesis." We introduce a principled framework dubbed "uniform localized convergence," and characterize sharp problem-dependent rates for central statistical learning problems. From a methodological viewpoint, our framework resolves several fundamental limitations of existing uniform convergence and localization analysis approaches. It also provides improvements and some level of unification in the study of localized complexities, one-sided uniform inequalities, and sample-based iterative algorithms. In the so-called "slow rate" regime, we provides the first (moment-penalized) estimator that achieves the optimal variance-dependent rate for general "rich" classes; we also establish improved loss-dependent rate for standard empirical risk minimization. In the "fast rate" regime, we establish finite-sample problem-dependent bounds that are comparable to precise asymptotics. In addition, we show that iterative algorithms like gradient descent and first-order Expectation-Maximization can achieve optimal generalization error in several representative problems across the areas of non-convex learning, stochastic optimization, and learning with missing data.

研究动机与目标

• 解决统计学习理论中‘丰富’假设类在问题依赖泛化误差界方面缺乏最优结果的问题。
• 克服传统统一收敛和局部化方法（如局部 Rademacher 复杂度）的局限性，这些方法导致样本大小依赖关系次优。
• 统一并改进现有的局部复杂度、单边统一不等式和迭代算法中的正则化方法。
• 在慢速和快速率两种情形下建立有限样本的、与问题相关的误差界，使其与渐近精度一致。
• 证明梯度下降和一阶 EM 等迭代算法可在非凸和缺失数据设置下实现最优的与问题相关的泛化误差。

提出的方法

• 提出一种新框架——‘统一局部收敛’，通过自适应截断水平和在‘环形区域’上的集中性分析，将收敛性局部化于最优假设周围。
• 采用灵活的代理函数和集中函数方法，推导出依赖于问题特定参数（如方差和梯度范数）的统一不等式。
• 引入一种矩惩罚估计器，可在慢速率情形下为一般‘丰富’类实现最优的方差依赖速率。
• 应用单边统一集中不等式分析经验过程在最优假设附近的性能，避免最坏情况下的统一界。
• 利用局部复杂度度量和基于环的集中性分析，避免对假设类施加几何限制。
• 在参数化快速率情形下建立有限样本界，其精度与精确的渐近行为一致，即使在零曲率条件下（如 Huber 损失）也成立。

实验结果

研究问题

• RQ1 我们能否推导出在样本大小上最优且在方差和梯度范数等与问题相关的参数上精确的泛化误差界？
• RQ2 如何统一并改进现有的局部化技术（如局部 Rademacher 复杂度和梯度统一收敛）？
• RQ3 梯度下降和一阶 EM 等迭代算法能否在非凸和缺失数据问题中实现最优的与问题相关的泛化误差？
• RQ4 自适应截断和基于环的集中性在实现更紧、更局部的收敛界中起到什么作用？
• RQ5 所提出的框架能否在传统方法失效的丰富假设类中实现最优速率？

主要发现

• 本文首次提出一种矩惩罚估计器，在慢速率情形下可实现一般‘丰富’类的最优方差依赖泛化误差速率。
• 通过利用问题特定的损失结构，改进了标准经验风险最小化方法的损失依赖速率。
• 在快速率情形下，该框架提供了与渐近结果精度相当的有限样本界，即使在弱曲率条件下也成立。
• 证明了梯度下降和一阶期望最大化等迭代算法可在非凸学习和缺失数据问题中实现最优的与问题相关的泛化误差。
• 该框架统一了局部复杂度、单边统一不等式和基于向量的收敛结果，采用统一的原理性方法。
• 通过采用自适应截断和基于环的集中性，该方法避免了对假设类的几何假设，从而比以往的局部化方法具有更广泛的应用范围。