[论文解读] Rademacher complexity of stationary sequences

Daniel J. McDonald, Cosma Rohilla Shalizi|arXiv (Cornell University)|Jun 3, 2011

Advanced Bandit Algorithms Research参考文献 11被引用 9

一句话总结

本文通过在不假设混合性的前提下，将Rademacher复杂度扩展至平稳时间序列，采用标准的期望Rademacher复杂度而非序列复杂度，推导出无需混合假设的一般化界。该方法为预测风险提供了更紧致且完全可计算的实证界，使得在平稳性假设下可通过实证风险最小化实现实际的模型选择。

ABSTRACT

We show how to control the generalization error of time series models wherein past values of the outcome are used to predict future values. The results are based on a generalization of standard i.i.d. concentration inequalities to dependent data without the mixing assumptions common in the time series setting. Our proof and the result are simpler than previous analyses with dependent data or stochastic adversaries which use sequential Rademacher complexities rather than the expected Rademacher complexity for i.i.d. processes. We also derive empirical Rademacher results without mixing assumptions resulting in fully calculable upper bounds.

研究动机与目标

• 使用Rademacher复杂度控制时间序列预测模型的泛化误差。
• 将i.i.d. Rademacher复杂度理论扩展至无需混合条件的依赖平稳序列。
• 推导出可完全由数据计算的实证Rademacher复杂度界，避免依赖不可检验的假设。
• 通过避免使用序列复杂度或对抗性分析，简化并紧致现有时间序列预测的界。

提出的方法

• 使用标准期望Rademacher复杂度作为模型类灵活性的度量，并将其适配于平稳时间序列。
• 应用适用于非混合依赖数据的集中不等式，以界定向预测风险。
• 通过数据驱动估计推导实证Rademacher复杂度界，避免依赖混合系数。
• 借鉴在线学习技术（Rakhlin等）但通过利用平稳性简化其方法，避免使用序列复杂度。
• 推导出一种通用的ERM算法，基于训练误差与实证Rademacher复杂度之和选择预测器。
• 在Lipschitz与范数约束下，为特定模型（如两层神经网络和核方法）提供闭式界。

实验结果

研究问题

• RQ1 标准Rademacher复杂度能否在不假设混合性的前提下，用于界定向平稳时间序列的预测风险？
• RQ2 实证Rademacher复杂度在依赖时间序列中如何计算并用于模型选择？
• RQ3 在时间序列预测中，使用期望Rademacher复杂度而非序列复杂度有何影响？
• RQ4 与依赖混合或覆盖数的先前工作相比，所得界在紧致性和可计算性方面表现如何？
• RQ5 能否从这些界推导出既理论严谨又计算可行的实际算法？

主要发现

• 本文使用标准期望Rademacher复杂度，推导出在平稳性下无需混合假设的预测风险一般化界。
• 所推导的界比先前使用序列Rademacher复杂度或对抗性分析的结果更紧致、更简洁。
• 实证Rademacher复杂度可完全由数据计算，从而支持通过实证风险最小化实现实际的模型选择。
• 对于具有1-Lipschitz激活函数且权重有界的两层神经网络，实证Rademacher复杂度以 $ O_{\mathbb{P}}(n^{-1/2}) $ 为界。
• 对于具有 $ M $-Lipschitz损失且特征空间范数有界的正则化核方法，实证Rademacher复杂度为 $ O_{\mathbb{P}}(n^{-1/2}) $。
• 提出一种通用的ERM算法，基于实证风险与实证Rademacher复杂度之和选择模型，并提供完全可计算的一般化界。