[论文解读] Practical Leverage-Based Sampling for Low-Rank Tensor Decomposition

Brett W. Larsen, Tamara G. Kolda|arXiv (Cornell University)|Jun 30, 2020

Tensor decomposition and applications被引用 4

一句话总结

本文提出了一种基于杠杆得分的实用采样方法，通过矩阵压缩加速低秩张量分解。通过按杠杆得分上界对行进行采样——该上界利用Khatri-Rao积结构高效计算——实现了与张量大小无关的 O(rd/ϵ) 采样复杂度，从而在保持与确定性方法相当高精度的同时，显著提升了大规模稀疏张量的计算速度。

ABSTRACT

The low-rank canonical polyadic tensor decomposition is useful in data analysis and can be computed by solving a sequence of overdetermined least squares subproblems. Motivated by consideration of sparse tensors, we propose sketching each subproblem using leverage scores to select a subset of the rows, with probabilistic guarantees on the solution accuracy. We randomly sample rows proportional to leverage score upper bounds that can be efficiently computed using the special Khatri-Rao subproblem structure inherent in tensor decomposition. Crucially, for a $(d+1)$-way tensor, the number of rows in the sketched system is $O(r^d/ε)$ for a decomposition of rank $r$ and $ε$-accuracy in the least squares solve, independent of both the size and the number of nonzeros in the tensor. Along the way, we provide a practical solution to the generic matrix sketching problem of sampling overabundance for high-leverage-score rows, proposing to include such rows deterministically and combine repeated samples in the sketched system; we conjecture that this can lead to improved theoretical bounds. Numerical results on real-world large-scale tensors show the method is significantly faster than deterministic methods at nearly the same level of accuracy.

研究动机与目标

• 加速大规模稀疏张量的低秩CANDECOMP/PARAFAC（CP）张量分解。
• 通过使用杠杆得分对最小二乘子问题进行压缩，降低交替最小二乘法（ALS）迭代中的计算成本。
• 开发一种实用且可扩展的方法，避免显式构造稠密张量或矩阵。
• 通过结合确定性包含与重复采样，有效处理高杠杆得分行。
• 在采样框架下，为解的精度提供概率性理论保证。

提出的方法

• 利用Khatri-Rao积结构推导出的杠杆得分上界，指导最小二乘子问题中的行采样。
• 采用混合采样策略：确定性地包含高杠杆得分行，其余行按杠杆得分上界的概率进行随机采样。
• 将同一行的多次采样合并为压缩系统中的单个有效行，以提高数值稳定性和效率。
• 在不显式构造 Ω、Z 或 X 的情况下，计算压缩矩阵 ˜Z = ΩZ 和 ˜X⊺ = ΩX⊺，从而支持稀疏矩阵运算。
• 采用随机数值线性代数（RandNLA）技术，在 O(max{n,r}rd+1/ϵ) 时间内求解压缩后的最小二乘问题。
• 在预处理阶段计算张量各模式下元素的线性索引，以在初始化阶段实现高效的纤维采样。

实验结果

研究问题

• RQ1 杠杆得分采样能否有效应用于CP张量分解中的最小二乘子问题，以降低计算成本？
• RQ2 在张量分解背景下，为实现以高概率获得 ϵ-准确解，所需的采样复杂度是多少？
• RQ3 在随机压缩框架中，如何高效处理高杠杆得分行而不降低性能？
• RQ4 所提方法能否在大规模稀疏张量上实现相对于确定性CP-ALS的显著加速，同时保持解的质量？
• RQ5 初始化策略对随机化算法的收敛性和拟合度有何影响？

主要发现

• 该方法在 (d+1)-路张量上实现了 O(rd/ϵ) 的采样复杂度，与张量大小和非零元数量无关，并具有高概率精度保证。
• 在Enron张量（5420万非零元，4路）上，使用RRF初始化的CP-ARLS-LEV在 s=2^18 采样数下，中位运行时间比CP-ALS快 5.78 倍。
• 在Uber张量（330万非零元）上，使用 s=2^19 采样数的CP-ARLS-LEV中位运行时间比CP-ALS快 4.39 倍。
• 使用随机范围查找器（RRF）进行初始化，可将初始残差（X⊥）降低，并相比高斯初始化将拟合度提升高达30%。
• 混合采样策略——即对高杠杆得分行进行确定性包含，其余行进行随机采样——相比纯随机采样，显著提升了稳定性和性能。
• 该方法在保持与确定性CP-ALS几乎相同解精度的同时，实现了对真实世界大规模稀疏张量的显著加速。