[论文解读] On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA

Dan Garber|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques参考文献 38被引用 4

一句话总结

该论文证明，在一种新颖的半对抗性数据模型下，非凸在线梯度上升（Nonconvex-OGA）可在对抗性在线主成分分析（PCA）设置中实现次线性遗憾，该模型中数据遵循具有谱隙的随机分布，但受到对抗性扰动，前提是使用热启动向量进行初始化。该方法在仅需每轮线性空间和时间复杂度的情况下，实现了与基于凸松弛的算法相当的遗憾性能。

ABSTRACT

In this paper we focus on the problem of Online Principal Component Analysis in the regret minimization framework. For this problem, all existing regret minimization algorithms for the fully-adversarial setting are based on a positive semidefinite convex relaxation, and hence require quadratic memory and SVD computation (either thin of full) on each iteration, which amounts to at least quadratic runtime per iteration. This is in stark contrast to a corresponding stochastic i.i.d. variant of the problem, which was studied extensively lately, and admits very efficient gradient ascent algorithms that work directly on the natural non-convex formulation of the problem, and hence require only linear memory and linear runtime per iteration. This raises the question: can non-convex online gradient ascent algorithms be shown to minimize regret in online adversarial settings? In this paper we take a step forward towards answering this question. We introduce an extit{adversarially-perturbed spiked-covariance model} in which, each data point is assumed to follow a fixed stochastic distribution with a non-zero spectral gap in the covariance matrix, but is then perturbed with some adversarial vector. This model is a natural extension of a well studied standard stochastic setting that allows for non-stationary (adversarial) patterns to arise in the data and hence, might serve as a significantly better approximation for real-world data-streams. We show that in an interesting regime of parameters, when the non-convex online gradient ascent algorithm is initialized with a "warm-start" vector, it provably minimizes the regret with high probability. We further discuss the possibility of computing such a "warm-start" vector, and also the use of regularization to obtain fast regret rates. Our theoretical findings are supported by empirical experiments on both synthetic and real-world data.

研究动机与目标

• 研究非凸在线梯度上升是否能在对抗性在线学习设置中（特别是在线PCA中）实现遗憾最小化。
• 弥合高效非凸独立同分布（i.i.d.）算法与计算量较大的基于凸松弛的方法在完全对抗性在线PCA中的差距。
• 提出一种半对抗性数据模型，结合随机结构与对抗性扰动，以更好地反映现实世界的数据流。
• 通过理论和实证验证，证明在该模型下，使用热启动的Nonconvex-OGA可实现次线性遗憾。
• 探讨有效热启动向量的计算可行性，以及正则化在改善遗憾率中的作用。

提出的方法

• 引入一种对抗性扰动的尖峰协方差模型：数据点遵循具有非零谱隙的协方差矩阵的固定分布，随后受到对抗性向量的扰动。
• 提出Nonconvex-OGA，一种直接优化在线PCA非凸公式的梯度上升算法，通过在数据上进行梯度步长更新单位向量预测器。
• 采用从底层分布的小样本i.i.d.数据中获得的热启动初始化向量，确保其与真实主特征向量足够接近。
• 在更新矩阵投影到谱单纯形后保持秩一的假设下分析遗憾，该假设在该模型下以高概率成立。
• 使用正则化改善遗憾率，并在热启动条件下提供收敛至全局最优的理论保证。
• 在合成数据、MNIST和CIFAR10数据集上进行实证评估，比较Nonconvex-OGA、BR1-OGA和Conv-OGA（通过薄SVD近似），测量随时间推移的平均遗憾。

实验结果

研究问题

• RQ1 在完全对抗性在线PCA设置中，非凸在线梯度上升能否实现次线性遗憾？
• RQ2 在何种数据假设下，使用热启动的Nonconvex-OGA可实现遗憾最小化？
• RQ3 Nonconvex-OGA在遗憾和计算效率方面与基于凸松弛的OGA相比表现如何？
• RQ4 热启动向量在实现非凸在线PCA中的全局收敛与遗憾最小化中起到何种作用？
• RQ5 正则化能否提升该设置下非凸在线梯度上升的遗憾率？

主要发现

• 在所提出的半对抗性数据模型下，使用热启动向量初始化时，Nonconvex-OGA以高概率实现次线性遗憾。
• 实证结果表明，Nonconvex-OGA与BR1-OGA的遗憾性能与基于凸OGA（通过薄SVD近似）相当，显著优于基线热启动向量。
• 投影误差比例（即更新矩阵投影无法保持秩一的情况）分别为6.24%（合成数据）、0.26%（MNIST）和0%（CIFAR10），支持了秩一投影的理论假设。
• 仅使用1%（合成数据）、1%（MNIST）或0.2%（CIFAR10）的数据计算出的热启动向量，即可实现有效的遗憾最小化，并足以实现收敛。
• 正则化被证明可改善遗憾率，提示在更广泛的参数范围内获得更强理论保证的可能路径。
• 结果表明，非凸在线梯度上升在对抗性在线PCA中既高效（线性内存与运行时间）又有效（低遗憾），挑战了凸松弛的必要性。