[论文解读] Online Nonparametric Regression

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Feb 11, 2014

Face and Expression Recognition被引用 19

一句话总结

本文通过序列熵建立在线非参数回归的最优后悔率，揭示了与独立同分布学习类似的相变现象。它提出了一种通用预测器，可在序列熵与经验熵一致时，使在线后悔率与独立同分布学习的后悔率在对数因子范围内匹配。

ABSTRACT

We establish optimal rates for online regression for arbitrary classes of regression functions in terms of the sequential entropy introduced in (Rakhlin, Sridharan, Tewari, 2010). The optimal rates are shown to exhibit a phase transition analogous to the i.i.d./statistical learning case, studied in (Rakhlin, Sridharan, Tsybakov 2013). In the frequently encountered situation when sequential entropy and i.i.d. empirical entropy match, our results point to the interesting phenomenon that the rates for statistical learning with squared loss and online nonparametric regression are the same. In addition to a non-algorithmic study of minimax regret, we exhibit a generic forecaster that enjoys the established optimal rates. We also provide a recipe for designing online regression algorithms that can be computationally efficient. We illustrate the techniques by deriving existing and new forecasters for the case of finite experts and for online linear regression.

研究动机与目标

• 建立任意函数类上在线非参数回归的极小极大后悔率。
• 通过引入序列熵作为复杂度度量，统一防御性预测与聚合方法。
• 证明在温和条件下，在线回归的后悔率与独立同分布统计学习的后悔率一致。
• 提供一种通用且计算可行的预测算法，实现最优后悔率。
• 将现有结果从有限维线性模型扩展至丰富的非参数类。

提出的方法

• 使用序列熵作为复杂度度量，刻画平方损失下在线回归中的后悔。
• 提出两级预测程序：在小函数球上使用局部极小极大算法，并通过聚合方案组合。
• 采用松弛技术证明预测器的可容许性，利用共轭与对称化方法。
• 基于Vovk-Azoury-Warmuth预测器推导闭式预测规则，并通过截断确保稳定性。
• 应用Dudley型熵积分界控制函数类中小球内的后悔。
• 使用度量熵与经验覆盖论证，并将其适应于序列预测框架。

实验结果

研究问题

• RQ1 在任意函数类上，在线非参数回归的最优后悔率是什么？
• RQ2 序列熵与经验熵如何共同决定在线后悔率？
• RQ3 在相似复杂度条件下，在线学习的后悔率能否与独立同分布统计学习的后悔率匹配？
• RQ4 序列覆盖数在刻画平方损失下极小极大后悔中的作用是什么？
• RQ5 是否存在一种通用且计算高效的算法，可在在线非参数回归中实现最优后悔率？

主要发现

• 在线非参数回归的极小极大后悔率表现出由序列熵的 $O(\beta^{-p})$ 行为决定的相变：当 $p \in (0,2]$ 时为 $n^{-\frac{2}{2+p}}$，当 $p \geq 2$ 时为 $n^{-1/p}$。
• 下界与上界仅相差对数因子，证实了所推导速率的最优性。
• 当序列熵与独立同分布经验熵一致时，在线回归与平方损失统计学习的后悔率在对数因子范围内相同。
• 基于序列熵与局部极小极大策略的通用预测器可实现最优后悔率。
• 所提出的算法计算高效，并推广了有限专家与在线线性回归的现有方法。
• 松弛技术确保了可容许性，并导出与截断Vovk-Azoury-Warmuth预测器一致的闭式预测规则。