[论文解读] Stochastic Online Optimization using Kalman Recursion

Joseph de Vilmarest, Olivier Wintenberger|arXiv (Cornell University)|Feb 10, 2020

Advanced Bandit Algorithms Research参考文献 24被引用 5

一句话总结

本文提出一种无需参数调整的在线随机优化算法，采用扩展卡尔曼滤波（EKF）求解无约束问题，通过将损失函数解释为负对数似然的贝叶斯视角。采用两阶段分析建立累积超额风险的高概率界：首先证明算法收敛至最优解的局部邻域，随后针对广义线性模型推导基于鞅的误差界，实现每轮迭代$O(d^2)$的计算成本，并达到最优收敛速率。

ABSTRACT

We study the Extended Kalman Filter in constant dynamics, offering a bayesian perspective of stochastic optimization. We obtain high probability bounds on the cumulative excess risk in an unconstrained setting. In order to avoid any projection step we propose a two-phase analysis. First, for linear and logistic regressions, we prove that the algorithm enters a local phase where the estimate stays in a small region around the optimum. We provide explicit bounds with high probability on this convergence time. Second, for generalized linear regressions, we provide a martingale analysis of the excess risk in the local phase, improving existing ones in bounded stochastic optimization. The EKF appears as a parameter-free online algorithm with O(d^2) cost per iteration that optimally solves some unconstrained optimization problems.

研究动机与目标

• 开发一种适用于无约束随机设置的无参数调整在线优化算法，无需投影步骤。
• 在在线学习中提供累积超额风险的非渐近、高概率界。
• 将EKF作为正则化经验风险最小化的贝叶斯在线近似进行分析。
• 建立两阶段理论框架：先证明收敛至局部邻域，再控制该邻域内的风险。
• 通过局部阶段的鞅分析，改进有界随机优化中现有界的结果。

提出的方法

• 将优化问题建模为退化的时不变状态空间模型，其中参数动态保持静态。
• 应用扩展卡尔曼滤波（EKF）递归更新参数估计，利用在线似然近似。
• 采用贝叶斯视角：将损失函数视为负对数似然，并在线近似最大似然估计器。
• 采用两阶段分析：首先证明几乎必然收敛至真实参数的小邻域，随后分析该局部阶段的风险。
• 应用鞅集中不等式，推导局部阶段累积超额风险的高概率界。
• 为线性回归与逻辑回归推导显式收敛时间界，并通过优化常数将结果推广至广义线性模型。

实验结果

研究问题

• RQ1 EKF能否在无约束设置下作为无需投影步骤的无参数调整在线优化算法使用？
• RQ2 在随机在线优化中，EKF的累积超额风险具有怎样的高概率界？
• RQ3 在线性与逻辑回归中，EKF收敛至真实参数局部邻域的速度如何？
• RQ4 EKF能否在不依赖参数空间知识或投影步骤的情况下，实现与在线牛顿法（ONS）相当的最优收敛速率？
• RQ5 在计算成本与风险界方面，EKF相较于现有二阶在线算法表现如何？

主要发现

• EKF每轮迭代的计算成本为$O(d^2)$，适用于高维问题。
• 在线性与逻辑回归中，算法以高概率在时间$\tau_1(\delta)$内进入最优解的局部邻域，该时间尺度为$O\left(\frac{D_X^2}{\Lambda_{\text{min}}} (\ln d + \ln \delta^{-1})\right)$。
• 累积超额风险以高概率被界为$O\left(\frac{\ln t}{t}\right)$，与平均随机梯度下降（SGD）和ONS的最优速率一致。
• 算法对平均迭代的收敛速率为$O(\frac{\ln t}{t})$，且显式常数较先前工作更为精细。
• 界对模型误设具有鲁棒性，且无需已知最优参数位置或有界域信息。
• EKF被证明等价于时间可变正则化参数的在线岭回归近似，为在线学习提供了贝叶斯解释。