[论文解读] Randomized Online CP Decomposition

Congbo Ma, Xiaowei Yang+1 more|arXiv (Cornell University)|Jul 21, 2020

Tensor decomposition and applications被引用 6

一句话总结

本文提出随机在线CP分解（ROCP），一种新颖的算法，结合随机采样与在线学习，以加速大规模、高维张量的CP分解。通过避免显式构建完整的Khatri-Rao积，ROCP显著降低了内存使用量与计算时间，在合成数据集与真实世界数据集上均展现出卓越的效率，同时保持了分解的准确性。

ABSTRACT

CANDECOMP/PARAFAC (CP) decomposition has been widely used to deal with multi-way data. For real-time or large-scale tensors, based on the ideas of randomized-sampling CP decomposition algorithm and online CP decomposition algorithm, a novel CP decomposition algorithm called randomized online CP decomposition (ROCP) is proposed in this paper. The proposed algorithm can avoid forming full Khatri-Rao product, which leads to boost the speed largely and reduce memory usage. The experimental results on synthetic data and real-world data show the ROCP algorithm is able to cope with CP decomposition for large-scale tensors with arbitrary number of dimensions. In addition, ROCP can reduce the computing time and memory usage dramatically, especially for large-scale tensors.

研究动机与目标

• 解决传统CP分解在大规模张量上面临的计算与内存瓶颈。
• 通过整合在线学习原理，实现实时或流式张量分解。
• 降低形成Khatri-Rao积的计算成本，这是CP分解中的主要瓶颈。
• 在保持精度的前提下，将CP分解扩展至任意阶数的张量。
• 为真实世界与合成的大规模张量数据提供高效、可扩展的解决方案。

提出的方法

• ROCP算法使用随机采样来近似Khatri-Rao积，而无需显式计算它。
• 它应用在线学习框架，随着新张量切片的到达，逐步更新因子矩阵。
• 该方法利用低秩近似技术，降低中间计算的维度。
• 通过在采样的张量条目上使用随机梯度下降，动态维护并更新因子矩阵。
• 该算法避免存储完整的中间张量，显著减少内存占用。
• 通过顺序在线处理每一阶，支持任意阶数的张量。

实验结果

研究问题

• RQ1 随机采样能否在在线CP分解中有效替代完整的Khatri-Rao积计算？
• RQ2 与标准CP分解相比，ROCP在大规模张量上的速度与内存效率表现如何？
• RQ3 在降低计算开销的同时，ROCP在多大程度上能保持分解精度？
• RQ4 ROCP能否在流式或实时环境中有效扩展至具有任意阶数的张量？
• RQ5 在收敛性与重构误差方面，ROCP在合成数据集与真实世界数据集上的表现如何？

主要发现

• 由于避免了完整Khatri-Rao积的构建，ROCP显著降低了计算时间，尤其在大规模张量上效果显著。
• 内存使用量显著减少，因为算法避免了存储大型中间矩阵。
• 该算法在合成与真实世界数据集上均保持了与标准CP分解相当的高分解精度。
• ROCP能有效扩展至具有任意阶数的张量，使复杂高维数据的应用成为可能。
• 实验结果表明，ROCP在在线与流式环境中实现了快速收敛与稳定性能。
• 该方法在速度与内存效率方面优于基线方法，且未牺牲重构质量。