[论文解读] Range-Net: A High Precision Streaming SVD for Big Data Applications

Gurpreet Singh, Soumyajit Gupta+2 more|arXiv (Cornell University)|Oct 27, 2020

Stochastic Gradient Optimization Techniques参考文献 29被引用 5

一句话总结

Range-Net 是一种确定性、两阶段的神经优化框架，用于大规模数据应用中的流式低秩 SVD，可在机器精度下实现 Eckart-Young-Mirsky (EYM) 尾部能量下界。其内存使用仅依赖于特征维度和秩，相比随机 SVD 方法在精度上提升了六个数量级，同时保持了完全可解释性，并收敛至理论误差下界。

ABSTRACT

In a Big Data setting computing the dominant SVD factors is restrictive due to the main memory requirements. Recently introduced streaming Randomized SVD schemes work under the restrictive assumption that the singular value spectrum of the data has exponential decay. This is seldom true for any practical data. Although these methods are claimed to be applicable to scientific computations due to associated tail-energy error bounds, the approximation errors in the singular vectors and values are high when the aforementioned assumption does not hold. Furthermore from a practical perspective, oversampling can still be memory intensive or worse can exceed the feature dimension of the data. To address these issues, we present Range-Net as an alternative to randomized SVD that satisfies the tail-energy lower bound given by Eckart-Young-Mirsky (EYM) theorem. Range-Net is a deterministic two-stage neural optimization approach with random initialization, where the main memory requirement depends explicitly on the feature dimension and desired rank, independent of the sample dimension. The data samples are read in a streaming setting with the network minimization problem converging to the desired rank-r approximation. Range-Net is fully interpretable where all the network outputs and weights have a specific meaning. We provide theoretical guarantees that Range-Net extracted SVD factors satisfy EYM tail-energy lower bound at machine precision. Our numerical experiments on real data at various scales confirms this bound. A comparison against the state of the art streaming Randomized SVD shows that Range-Net accuracy is better by six orders of magnitude while being memory efficient.

研究动机与目标

• 解决依赖于严格谱衰减假设的流式随机 SVD 方法的局限性，这些方法在假设不成立时会产生较高的近似误差。
• 开发一种低内存、流式 SVD 求解器，实现由 Eckart-Young-Mirsky (EYM) 定理定义的尾部能量误差理论下界。
• 确保该方法完全可解释，所有网络权重和输出在 SVD 上下文中均有明确的数学意义。
• 提供一种实用且可独立验证的随机 SVD 替代方案，避免依赖于上界误差估计，实现在无需加载完整矩阵的前提下进行高精度低秩近似。

提出的方法

• Range-Net 采用两阶段确定性神经优化过程：首先通过投影网络识别所需秩-r 近似的范围。
• 第二阶段将识别出的范围旋转，使其与真实的左、右奇异向量对齐，同时提取相应的奇异值。
• 网络随机初始化，但通过最小化 Frobenius 范数误差实现收敛，确保收敛至 EYM 下界。
• 主要内存使用仅与特征维度 n 和所需秩 r 有关，与样本数 m 无关，从而支持流式处理。
• 该方法使用损失函数，驱动网络最小化重构矩阵与真实低秩近似之间的差异。
• 附录 A 提供了理论保证，证明提取的 SVD 因子在机器精度下满足 EYM 尾部能量下界。

实验结果

研究问题

• RQ1 能否在不依赖谱衰减假设的前提下，使流式 SVD 方法实现理论上的 EYM 尾部能量下界？
• RQ2 在大规模数据场景下，确定性神经 SVD 方法的内存效率与随机流式 SVD 方法相比如何？
• RQ3 基于神经网络的 SVD 求解器在确保权重和输出完全可解释的同时，能在多大程度上保持高精度？
• RQ4 Range-Net 是否能在实际大规模数据应用中实现对 EYM 边界的机器精度收敛，而无需加载完整矩阵？
• RQ5 在奇异向量和奇异值近似精度方面，Range-Net 与最先进随机 SVD 算法相比表现如何？

主要发现

• Range-Net 在机器精度下实现了 Eckart-Young-Mirsky (EYM) 尾部能量下界，附录 A 提供了理论保证。
• 在 MNIST 数据集上（m=60k，n=784，r=200），Range-Net 的峰值内存仅需 916 MB，而 SketchySVD 因过度采样需 14 GB。
• 对于秩-100 近似，Range-Net 在全部 100 个索引上均与真实右奇异向量保持极高的互相关性，而 SketchySVD 在索引 10 之后显著偏离。
• Range-Net 的奇异值碎屑图与传统 SVD 几乎完全一致，而 SketchySVD 在秩 3 之后表现出显著偏差。
• 在数值实验中，Range-Net 在奇异向量和奇异值近似上均比最先进随机 SVD 方法高出六个数量级的精度。
• 该方法可独立验证，无需执行完整 SVD，而随机 SVD 依赖于主观的上界误差估计。