[论文解读] The Mismatch Principle: Statistical Learning Under Large Model Uncertainties

Martin Genzel, Gitta Kutyniok|arXiv (Cornell University)|Aug 20, 2018

Statistical Methods and Inference被引用 2

一句话总结

本文提出了不匹配原理——一种理论框架，用以解释为何在模型不确定性较大及模型误设的情况下，使用平方损失和凸线性假设类的经验风险最小化仍能有效学习。该原理推广了经典的正交性原理，使高维、非线性及相关设计下的鲁棒学习成为可能，其应用涵盖单索引模型和变量选择。

ABSTRACT

We study the learning capacity of empirical risk minimization with regard to the squared loss and a convex hypothesis class consisting of linear functions. While these types of estimators were originally designed for noisy linear regression problems, it recently turned out that they are in fact capable of handling considerably more complicated situations, involving highly non-linear distortions. This work intends to provide a comprehensive explanation of this somewhat astonishing phenomenon. At the heart of our analysis stands the mismatch principle, which is a simple, yet generic recipe to establish theoretical error bounds for empirical risk minimization. The scope of our results is fairly general, permitting arbitrary sub-Gaussian input-output pairs, possibly with strongly correlated feature variables. Noteworthy, the mismatch principle also generalizes to a certain extent the classical orthogonality principle for ordinary least squares. This adaption allows us to investigate problem setups of recent interest, most importantly, high-dimensional parameter regimes and non-linear observation processes. In particular, our theoretical framework is applied to various scenarios of practical relevance, such as single-index models, variable selection, and strongly correlated designs. We thereby demonstrate the key purpose of the mismatch principle, that is, learning (semi-)parametric output rules under large model uncertainties and misspecifications.

研究动机与目标

• 解释在复杂、非线性和高维设置下，使用平方损失和凸线性模型的经验风险最小化为何表现出出人意料的鲁棒性。
• 解决在模型不确定性较大及误设情况下的学习挑战，特别是当真实数据生成过程为非线性或高维时。
• 将普通最小二乘法的古典正交性原理推广至非线性观测过程和相关特征的情形。
• 为单索引模型、变量选择和强相关设计等实际场景提供一个理论框架。

提出的方法

• 提出不匹配原理作为通用方法，用于推导在次高斯输入-输出对下经验风险最小化的理论误差界。
• 应用不匹配原理推导出即使假设类误设或真实关系高度非线性时依然有效的误差界。
• 利用凸优化和统计学习理论分析在模型不确定性下线性估计器的性能。
• 通过引入反映真实模型与假设模型之间偏差的不匹配项，扩展经典正交性原理。
• 对输入-输出对施加次高斯假设，以确保在高维和相关特征设置下的鲁棒性。
• 推导出对强特征相关性保持不变的误差界，并适用于半参数输出规则。

实验结果

研究问题

• RQ1 为何在严重模型误设和非线性失真下，使用线性模型和平方损失的经验风险最小化仍表现良好？
• RQ2 如何将经典正交性原理推广以处理非线性观测过程和高维设置？
• RQ3 当真实数据生成过程为非线性或高维时，可为线性估计器建立哪些理论保证？
• RQ4 不匹配原理在模型不确定性较大及特征相关性较强时，如何提升学习性能？
• RQ5 该框架在模型不确定性下如何应用于单索引模型和变量选择等实际问题？

主要发现

• 不匹配原理提供了一个通用的理论框架，解释了在模型误设和非线性失真下经验风险最小化的鲁棒性。
• 该框架将经典正交性原理推广至非线性观测过程和相关设计，同时保持理论有效性。
• 通过不匹配原理推导出的误差界在传统假设失效的高维参数区域中依然有效。
• 该方法即使在真实模型与线性模型相去甚远时，也能实现对半参数输出规则的可靠学习。
• 该方法在强特征相关性下，对单索引模型和变量选择任务具有理论和实证适用性。
• 理论结果对任意次高斯输入-输出对均具有鲁棒性，包括高度相关的特征情形。