[论文解读] Statistical learning with Lipschitz and convex loss functions

Geoffrey Chinot, Guillaume Lecué+1 more|arXiv (Cornell University)|Oct 2, 2018

Statistical Methods and Inference参考文献 34被引用 10

一句话总结

本论文在Lipschitz且凸的损失函数下，为经验风险最小化（ERM）和极小极大中位数法（MOM）估计器建立了估计误差与超额风险的界，将先前依赖全局Bernstein条件的假设放松为局部条件，从而在弱设计矩假设和异常值污染下仍能实现鲁棒性能，即使在局部Bernstein条件不成立时，也能获得指数型偏差界。

ABSTRACT

We obtain risk bounds for Empirical Risk Minimizers (ERM) and minmax Median-Of-Means (MOM) estimators based on loss functions that are both Lipschitz and convex. Results for the ERM are derived without assumptions on the outputs and under subgaussian assumptions on the design and a new "local Bernstein assumption" on the class of predictors. Similar results are shown for minmax MOM estimators in a close setting where the design is only supposed to satisfy moment assumptions, relaxing the Subgaussian hypothesis necessary for ERM. The analysis of minmax MOM estimators is not based on the small ball assumption (SBA) as it was the case in the first analysis of minmax MOM estimators. In particular, the basic example of non parametric statistics where the learning class is the linear span of localized bases, that does not satisfy SBA can now be handled. Finally, minmax MOM estimators are analysed in a setting where the local Bernstein condition is also dropped out. It is shown to achieve an oracle inequality with exponentially large probability under minimal assumptions insuring the existence of all objects.

研究动机与目标

• 推导当损失函数同时为Lipschitz和凸时，ERM与极小极大MOM估计器的估计误差与超额风险界。
• 将先前工作中使用的全局Bernstein条件放松为局部假设，提升在如设计变量无界线性回归等模型中的适用性。
• 证明极小极大MOM估计器在仅对设计变量有矩假设时仍能保持最优收敛速率，并对输入和输出中的异常值具有鲁棒性。
• 在不依赖局部Bernstein条件的情况下分析极小极大MOM估计器，仅在最弱假设下即实现指数型偏差界。

提出的方法

• 提出一种局部Bernstein条件，替代先前工作中使用的全局条件，使方法更广泛适用于如重尾设计的线性回归等模型。
• 利用极小极大MOM框架构造对异常值鲁棒的估计器，并在设计变量仅满足弱矩假设时实现最优收敛速率。
• 应用集中不等式与基于矩的论证，推导在设计变量满足次高斯或矩条件、输出变量假设较弱时的风险界。
• 利用损失函数的凸性与Lipschitz性质，通过二阶泰勒展开与局部曲率分析控制超额风险。
• 引入一个集合 $ A $，在该集合上控制函数差值，利用Hölder不等式与马尔可夫不等式控制集合外区域的贡献，确保稳定性。
• 即使局部Bernstein条件不成立，仍能为超额风险建立指数型偏差界，仅依赖于矩的存在性与损失函数的结构。

实验结果

研究问题

• RQ1 能否在仅使用局部Bernstein条件而非全局条件的前提下，为ERM推导估计误差与超额风险界，同时保持对弱输出假设的鲁棒性？
• RQ2 当仅对设计变量有矩假设且无次高斯或有界性条件时，极小极大MOM估计器的性能如何？
• RQ3 当局部Bernstein条件被移除时，极小极大MOM估计器能否保持最优收敛速率与指数型偏差界？
• RQ4 该框架是否能处理输入与输出中均存在异常值的数据集，且性能不下降？
• RQ5 该方法能否应用于非参数模型（如不满足小球假设的局部基函数线性组合）？

主要发现

• 在局部Bernstein条件下，ERM实现了估计误差与超额风险界，放松了对全局曲率假设的需求，使该方法可应用于设计变量无界的线性回归。
• 极小极大MOM估计器在仅对设计变量有矩假设时，仍能实现最优收敛速率，无需次高斯或有界性条件。
• 极小极大MOM估计器对输入与输出中的异常值具有鲁棒性，在部分数据被污染时仍能保持性能。
• 即使局部Bernstein条件不满足，极小极大MOM估计器的超额风险界仍以指数型高概率成立。
• 该框架适用于非参数模型（如局部基函数的线性组合），这些模型不满足小球假设，从而扩展了基于MOM方法的适用范围。
• 分析过程避免了对小球假设的依赖，使其适用于比以往基于MOM的方法更广泛的学习问题类别。