[论文解读] Robust Frequent Directions with Application in Online Learning

Luo Luo, Cheng Chen+3 more|arXiv (Cornell University)|May 15, 2017

Advanced Optimization Algorithms Research被引用 12

一句话总结

本文提出鲁棒频繁方向（RFD），一种新型矩阵压缩方法，通过联合优化低秩逼近与正则化，克服传统频繁方向（FD）的秩不足问题。通过将RFD表述为带有自适应正则化的优化问题，实现了更紧致的谱范数误差界，并支持无需超参数的在线牛顿算法（RFD-SON），且具有可证明的遗憾界，优于最先进的一阶在线学习方法。

ABSTRACT

The frequent directions (FD) technique is a deterministic approach for online sketching that has many applications in machine learning. The conventional FD is a heuristic procedure that often outputs rank deficient matrices. To overcome the rank deficiency problem, we propose a new sketching strategy called robust frequent directions (RFD) by introducing a regularization term. RFD can be derived from an optimization problem. It updates the sketch matrix and the regularization term adaptively and jointly. RFD reduces the approximation error of FD without increasing the computational cost. We also apply RFD to online learning and propose an effective hyperparameter-free online Newton algorithm. We derive a regret bound for our online Newton algorithm based on RFD, which guarantees the robustness of the algorithm. The experimental studies demonstrate that the proposed method outperforms state-of-the-art second order online learning algorithms.

研究动机与目标

• 为解决传统频繁方向（FD）中的秩不足问题，该问题会损害二阶在线学习中Hessian矩阵逼近的鲁棒性。
• 通过将正则化自适应地整合到压缩过程中，消除在压缩牛顿方法中手动调整超参数的需求。
• 基于RFD开发一种理论基础坚实的在线牛顿算法，其在最小假设下具有可证明的遗憾界。
• 在不增加计算成本的前提下，实现比FD更紧致的谱范数逼近误差。

提出的方法

• RFD将压缩过程表述为一个联合更新压缩矩阵与正则化项的优化问题，以维持数值稳定性。
• 正则化项随时间自适应增加，从零开始，以确保Hessian逼近始终保持非奇异且条件良好。
• 该方法推导出一个闭式更新规则，平衡低秩逼近与正则化，最小化谱范数误差。
• RFD-SON利用RFD压缩结果在在线牛顿步骤中计算Hessian逼近，避免显式选择超参数。
• 该算法采用动态正则化调度，随累积梯度方差增长，确保收敛性。
• 理论分析建立了RFD-SON在梯度范数有界条件下的遗憾界，其量级为O(ln T)。

实验结果

研究问题

• RQ1 能否设计一种压缩方法，同时保持低秩结构并强制矩阵可逆性，而无需外部正则化？
• RQ2 在矩阵压缩中采用自适应正则化是否能相比标准FD实现更紧致的谱范数逼近误差？
• RQ3 能否基于此类压缩方法构建一种无需超参数的在线牛顿算法，并具备理论收敛保证？
• RQ4 在对Hessian和梯度的假设最弱的条件下，所得在线学习算法的遗憾界是什么？

主要发现

• RFD在不增加计算成本的前提下，实现了比传统FD更紧致的谱范数逼近误差。
• RFD-SON算法无需超参数，因为正则化项在训练过程中自动适应。
• 当梯度范数有界时，RFD-SON的遗憾界为O(ln T)，表明其具有强大的理论鲁棒性。
• 实验结果表明，RFD-SON在收敛速度和精度方面优于最先进的一阶在线学习算法。
• 由于自适应正则化，该方法即使在Hessian原本秩不足时也能保持数值稳定性。
• 理论分析证实，逼近误差保持有界，且在梯度范数的弱假设下算法收敛。