[论文解读] Streaming kernel regression with provably adaptive mean, variance, and regularization

Audrey Durand, Odalric-Ambrym Maillard+1 more|arXiv (Cornell University)|Aug 2, 2017

Advanced Bandit Algorithms Research参考文献 25被引用 21

一句话总结

本文提出了一种流式核回归方法，具备可证明的自适应正则化、均值和方差估计能力，适用于在线设置。通过利用自归一化不等式和自适应方差界，该方法在时间和点上均实现了统一的置信区间，从而在无需假设已知噪声方差的前提下，实现了理论可靠的自适应调参——在核化多臂赌博机中得到了验证，且 regret 边界得到改进。

ABSTRACT

We consider the problem of streaming kernel regression, when the observations arrive sequentially and the goal is to recover the underlying mean function, assumed to belong to an RKHS. The variance of the noise is not assumed to be known. In this context, we tackle the problem of tuning the regularization parameter adaptively at each time step, while maintaining tight confidence bounds estimates on the value of the mean function at each point. To this end, we first generalize existing results for finite-dimensional linear regression with fixed regularization and known variance to the kernel setup with a regularization parameter allowed to be a measurable function of past observations. Then, using appropriate self-normalized inequalities we build upper and lower bound estimates for the variance, leading to Bersntein-like concentration bounds. The later is used in order to define the adaptive regularization. The bounds resulting from our technique are valid uniformly over all observation points and all time steps, and are compared against the literature with numerical experiments. Finally, the potential of these tools is illustrated by an application to kernelized bandits, where we revisit the Kernel UCB and Kernel Thompson Sampling procedures, and show the benefits of the novel adaptive kernel tuning strategy.

研究动机与目标

• 为解决在在线调整正则化和噪声方差时，自适应核回归缺乏理论保证的问题。
• 开发在流式核回归中对所有时间步和输入点均保持有效的置信区间。
• 基于经验方差估计实现自适应正则化，而无需假设已知噪声方差。
• 为序列学习中的在线核超参数调参提供理论基础方法。
• 通过用自适应、数据驱动的选择替代固定正则化，提升核化多臂赌博机的性能。

提出的方法

• 将有限维浓度不等式推广至核回归，其中正则化作为过去观测的可测函数。
• 引入一种流式方差估计器，利用自归一化不等式，对噪声方差提供上下界。
• 推导出类似经验伯恩斯坦的浓度不等式，整合估计的方差，从而实现更紧致的置信区间。
• 利用方差估计在每个时间步自适应地调整正则化参数，确保理论保证。
• 将该框架应用于核化多臂赌博机，通过自适应正则化改进核UCB和汤普森采样算法。
• 在后悔分析中使用 Azuma-Hoeffding 不等式控制估计误差之和，确保高概率边界。

实验结果

研究问题

• RQ1 当正则化参数基于过去观测自适应调整时，能否在流式核回归中保持统一的置信区间？
• RQ2 如何在不预先知晓噪声方差的情况下实现实时噪声方差估计，同时保持理论保证？
• RQ3 自适应正则化对核化多臂赌博机中后悔的影响是什么？
• RQ4 能否为具有时变正则化和估计方差的核回归推导浓度不等式？
• RQ5 与固定参数基线相比，所提出的自适应方法在后悔和置信区间紧致性方面表现如何？

主要发现

• 该方法在所有时间步和输入点上均实现了统一的置信区间，即使采用自适应正则化亦成立。
• 与固定参数方法相比，自适应正则化策略可产生更紧致的置信区间。
• 在核化多臂赌博机中，采用自适应方法的后悔边界为 O(√T log T)，优于固定参数基线。
• 该框架可在不假设已知噪声方差的前提下，为在线核学习提供理论保证。
• 数值实验证实了该方法在估计精度和后悔减少方面的实际优势。
• 所推导的边界在亚高斯噪声下有效，且无需事先知晓噪声水平。