[论文解读] On-line PCA with Optimal Regrets

Jiazhong Nie, Wojciech Kotłowski+1 more|arXiv (Cornell University)|Jun 17, 2013

Advanced Bandit Algorithms Research参考文献 14被引用 13

一句话总结

该论文证明，矩阵指数梯度（MEG）算法在在线主成分分析（PCA）中即使在实例稀疏的情况下也能实现最优后悔边界，这与传统观点相反——即MEG在稀疏环境下表现不佳。令人惊讶的是，由于PCA损失的非负性，MEG在时间跨度和预算后悔两种设定下均表现出与梯度下降（GD）相当的后悔性能，并且被证明是严格最优的，这从根本上区别于以往的在线学习设定。

ABSTRACT

We carefully investigate the on-line version of PCA, where in each trial a learning algorithm plays a k-dimensional subspace, and suffers the compression loss on the next instance when projected into the chosen subspace. In this setting, we analyze two popular on-line algorithms, Gradient Descent (GD) and Exponentiated Gradient (EG). We show that both algorithms are essentially optimal in the worst-case. This comes as a surprise, since EG is known to perform sub-optimally when the instances are sparse. This different behavior of EG for PCA is mainly related to the non-negativity of the loss in this case, which makes the PCA setting qualitatively different from other settings studied in the literature. Furthermore, we show that when considering regret bounds as function of a loss budget, EG remains optimal and strictly outperforms GD. Next, we study the extension of the PCA setting, in which the Nature is allowed to play with dense instances, which are positive matrices with bounded largest eigenvalue. Again we can show that EG is optimal and strictly better than GD in this setting.

研究动机与目标

• 分析在线PCA算法在稀疏与密集实例设定下的后悔性能。
• 通过证明MEG在在线PCA中的最优性，解决长期存在的关于MEG在稀疏设定下表现不佳的信念。
• 建立最小最大后悔下界，并与GD和MEG的上界进行比较。
• 研究当后悔以固定损失预算而非时间跨度为函数时，MEG与GD的最优性。
• 探讨在线PCA中非负损失对算法设计与后悔分析的影响。

提出的方法

• 作者通过将对抗性实例序列按专家组进行概率构造，推导出在线PCA的最小最大后悔下界。
• 应用MEG算法的损失与增益变体，利用量子相对熵正则化来保持非负参数，并自然地施加约束。
• 在时间跨度后悔设定下，证明GD与MEG的后悔均与推导出的下界保持常数因子内，表明其近乎最优。
• 在预算后悔设定下，构造具有有界总损失的稀疏实例序列，并证明MEG的后悔为Θ(√(m ln(n/m)B))，与最小最大下界一致。
• 利用对偶性论证及在线学习中的定理，将基于时间的后悔边界转换为基于预算的设定。
• 通过专家设定中的对称性与集中性论证，推导出每组中最差专家累积损失的下界。

实验结果

研究问题

• RQ1 正如普遍认为的那样，当实例稀疏时，矩阵指数梯度（MEG）算法在在线PCA中是否真的表现次优？
• RQ2 MEG能否在时间跨度与损失预算两种设定下，均实现在线PCA的最优后悔边界？
• RQ3 为何MEG在在线PCA中表现良好，尽管外积实例稀疏，而这一现象在其他在线学习问题中并不成立？
• RQ4 PCA损失函数的非负性如何影响GD与MEG的相对性能？
• RQ5 基于预算的后悔分析能否揭示MEG在在线PCA中对GD的可证明优势？

主要发现

• MEG在在线PCA中的后悔与最小最大下界保持常数因子内，证明其在稀疏与密集实例设定下均达到最优。
• 在时间跨度后悔设定下，当m ≤ n/2时，MEG的后悔为Θ(m√(T log(n/m)))，与下界一致，确认其最优性。
• 在预算后悔设定下，MEG的后悔为Θ(√(m ln(n/m)B))，该结果为最优，且严格优于同一设定下GD的预算后悔。
• MEG在预算后悔设定下优于GD，归因于其通过量子相对熵正则化维持非负参数的能力。
• PCA损失的非负性从根本上改变了与对称损失设定的动态差异，解释了为何MEG在稀疏情况下仍表现良好。
• GD的镜像下降版本在不等式约束下存在“遗忘效应”，导致后悔次优，表明GD不同变体之间存在差距。