[论文解读] SGD_Tucker: A Novel Stochastic Optimization Strategy for Parallel Sparse Tucker Decomposition

Hao Li, Zixuan Li+4 more|arXiv (Cornell University)|Dec 7, 2020

Tensor decomposition and applications参考文献 42被引用 12

一句话总结

该论文提出SGD_Tucker，一种用于并行稀疏Tucker分解的随机优化策略，通过处理小规模随机批次而非完整张量元素来减少中间变量爆炸问题。该方法支持细粒度并行化，在保持相近准确率的同时，相比最先进的P-Tucker和CD方法实现了至少2倍的加速。

ABSTRACT

Sparse Tucker Decomposition (STD) algorithms learn a core tensor and a group of factor matrices to obtain an optimal low-rank representation feature for the \underline{H}igh-\underline{O}rder, \underline{H}igh-\underline{D}imension, and \underline{S}parse \underline{T}ensor (HOHDST). However, existing STD algorithms face the problem of intermediate variables explosion which results from the fact that the formation of those variables, i.e., matrices Khatri-Rao product, Kronecker product, and matrix-matrix multiplication, follows the whole elements in sparse tensor. The above problems prevent deep fusion of efficient computation and big data platforms. To overcome the bottleneck, a novel stochastic optimization strategy (SGD$\_$Tucker) is proposed for STD which can automatically divide the high-dimension intermediate variables into small batches of intermediate matrices. Specifically, SGD$\_$Tucker only follows the randomly selected small samples rather than the whole elements, while maintaining the overall accuracy and convergence rate. In practice, SGD$\_$Tucker features the two distinct advancements over the state of the art. First, SGD$\_$Tucker can prune the communication overhead for the core tensor in distributed settings. Second, the low data-dependence of SGD$\_$Tucker enables fine-grained parallelization, which makes SGD$\_$Tucker obtaining lower computational overheads with the same accuracy. Experimental results show that SGD$\_$Tucker runs at least 2$X$ faster than the state of the art.

研究动机与目标

• 为解决高阶、高维、稀疏张量（HOHDST）分解中的中间变量爆炸问题。
• 在分布式环境中实现高效的并行化并减少通信开销，以支持稀疏Tucker分解（STD）。
• 在大幅降低大规模张量学习计算开销的同时，保持高准确率和快速收敛速度。
• 设计一种可扩展、低数据依赖性的优化策略，适用于Spark和Hadoop等大规模数据平台。

提出的方法

• 为稀疏Tucker分解（STD）提出一种新颖的随机优化目标函数，避免对完整张量的遍历。
• 将高维中间变量（如Khatri-Rao积和Kronecker积）划分为小规模随机批次，实现增量式处理。
• 使用随机梯度下降（SGD）从随机采样的张量元素中近似梯度，而非全部元素。
• 利用低数据依赖性，在分布式系统中实现细粒度并行化。
• 引入分批计算策略，降低分布式环境中的内存压力和通信成本。
• 采用核心张量更新机制，在随机采样条件下仍能保持收敛性和准确性。

实验结果

研究问题

• RQ1 随机优化是否能在不损失准确率的前提下减少稀疏Tucker分解中的中间变量爆炸？
• RQ2 SGD_Tucker在多线程和分布式系统中的加速比与可扩展性表现如何？
• RQ3 SGD_Tucker在分布式稀疏张量分解中能多大程度减少通信开销？
• RQ4 与P-Tucker和CD等最先进方法相比，SGD_Tucker在RMSE和计算效率方面表现如何？
• RQ5 SGD_Tucker能否在大规模真实世界数据集上保持稳定收敛和强鲁棒性？

主要发现

• 在MovieLens和Netflix等基准数据集上，SGD_Tucker相比P-Tucker实现至少2倍加速，相比CD最高实现20倍加速。
• 该方法在最多16个线程下表现出接近线性的加速比，使用68%效率实现11倍加速。
• SGD_Tucker保持了与最先进方法相当的RMSE和MAE，表明在随机采样下仍具有高准确率保留能力。
• 计算时间随秩大小线性增长，且对核心张量秩的变化表现出最小敏感性。
• 该算法在大规模数据集上表现出稳定的收敛行为，在鲁棒性和可扩展性方面优于其他方法。
• 由于低数据依赖性和分批处理机制，SGD_Tucker在分布式环境中能有效减少通信开销。