[论文解读] Online Forecasting of Total-Variation-bounded Sequences

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|Jan 1, 2019

Stochastic processes and financial applications被引用 8

一句话总结

本文提出了首个针对总变差有界序列的在线预测多项式时间算法，且未知变差 $C_n$，在高概率下实现累积平方误差 $ ilde{O}(n^{1/3}C_n^{2/3} au^{4/3} + C_n^2)$。该算法利用哈尔小波结构与对未知平滑度的自适应性，其性能在对数因子范围内达到紧致下界。

ABSTRACT

We consider the problem of online forecasting of sequences of length $n$ with total-variation at most $C_n$ using observations contaminated by independent $\sigma$-subgaussian noise. We design an $O(n\log n)$-time algorithm that achieves a cumulative square error of $ ilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$ with high probability. We also prove a lower bound that matches the upper bound in all parameters (up to a $\log(n)$ factor). To the best of our knowledge, this is the first **polynomial-time** algorithm that achieves the optimal $O(n^{1/3})$ rate in forecasting total variation bounded sequences and the first algorithm that **adapts to unknown** $C_n$.Our proof techniques leverage the special localized structure of Haar wavelet basis and the adaptivity to unknown smoothness parameters in the classical wavelet smoothing [Donoho et al., 1998]. We also compare our model to the rich literature of dynamic regret minimization and nonstationary stochastic optimization, where our problem can be treated as a special case. We show that the workhorse in those settings --- online gradient descent and its variants with a fixed restarting schedule --- are instances of a class of **linear forecasters** that require a suboptimal regret of $ ilde{\Omega}(\sqrt{n})$. This implies that the use of more adaptive algorithms is necessary to obtain the optimal rate.

研究动机与目标

• 设计一种计算高效的在线预测算法，适用于总变差有界的序列。
• 在总变差界 $C_n$ 未知的情况下，实现最优的预测误差率，且存在次高斯噪声。
• 弥合此设定下最优理论速率与实际多项式时间算法之间的差距。
• 证明标准在线梯度下降方法因线性预测结构而在此问题中表现次优。

提出的方法

• 该算法利用哈尔小波基的局部化结构，高效表示并估计总变差有界的序列。
• 在哈尔小波域中应用自适应阈值处理，以平衡估计误差与噪声敏感性。
• 基于噪声水平 $\sigma$ 与序列长度 $n$，实现正则化参数的数据驱动选择，从而实现对未知 $C_n$ 的自适应。
• 通过利用有界变差信号哈尔变换中的稀疏性，实现 $O(n\log n)$ 的运行时间。
• 结合浓度不等式与小波特有性质，对累积平方误差进行上界估计。
• 将该算法设计与线性预测器（如在线梯度下降）进行对比，表明后者会带来次优的 $ ilde{\Omega}(\sqrt{n})$ 遗憾。

实验结果

研究问题

• RQ1 是否存在一种高效且多项式时间的算法，可在未知 $C_n$ 的情况下实现总变差有界序列在线预测的最优 $n^{1/3}$ 速率？
• RQ2 在子高斯噪声下，总变差约束的在线预测性能的根本极限是什么？
• RQ3 为何标准线性预测器（如在线梯度下降）在此设定下无法实现最优速率？
• RQ4 如何利用小波方法实现计算效率与统计最优性的统一？
• RQ5 对未知平滑度参数的自适应性在该背景下在多大程度上提升了预测性能？

主要发现

• 所提算法在高概率下实现累积平方误差 $ ilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$，在对数因子范围内达到信息论下界。
• 该算法运行时间为 $O(n\log n)$，是首个实现此问题最优 $n^{1/3}$ 速率的多项式时间方法。
• 该方法可在未知 $C_n$ 的情况下自适应，无需事先知晓 $C_n$，这是相较于先前方法的关键优势。
• 分析表明，在线梯度下降与类似线性预测器会带来次优遗憾 $ ilde{\Omega}(\sqrt{n})$，证明其无法实现最优速率。
• 哈尔小波的使用通过利用信号的局部化结构，同时实现了计算效率与统计最优性。
• 本工作建立了小波平滑技术与最优在线预测之间的紧密联系，将经典结果拓展至在线设定。