[论文解读] Quantum-Inspired Algorithms from Randomized Numerical Linear Algebra

Nadiia Chepurko, Kenneth L. Clarkson+3 more|arXiv (Cornell University)|Nov 9, 2020

Quantum Computing Algorithms and Architecture参考文献 62被引用 5

一句话总结

本文提出了一类经典动态数据结构，用于推荐系统和最小二乘回归问题，其性能与基于量子启发的算法相当，通过利用随机化数值线性代数技术——特别是杠杆得分采样与岭杠杆得分采样——实现了更快、更简单的算法，并在子线性时间复杂度方面优于以往工作。

ABSTRACT

We create classical (non-quantum) dynamic data structures supporting queries for recommender systems and least-squares regression that are comparable to their quantum analogues. De-quantizing such algorithms has received a flurry of attention in recent years; we obtain sharper bounds for these problems. More significantly, we achieve these improvements by arguing that the previous quantum-inspired algorithms for these problems are doing leverage or ridge-leverage score sampling in disguise; these are powerful and standard techniques in randomized numerical linear algebra. With this recognition, we are able to employ the large body of work in numerical linear algebra to obtain algorithms for these problems that are simpler or faster (or both) than existing approaches. Our experiments demonstrate that the proposed data structures also work well on real-world datasets.

研究动机与目标

• 填补对量子启发算法与随机化数值线性代数中既定技术之间联系的理解空白。
• 在先前量子启发方法的基础上，进一步改进推荐系统与最小二乘回归中动态数据结构的子线性时间复杂度界限。
• 证明这些问题的量子启发算法本质上是以伪装形式执行杠杆得分采样。
• 利用随机化数值线性代数领域中已有的理论与算法进展，设计更简单、更快速的经典算法。
• 在真实世界与合成数据集上验证所提数据结构的实际效率。

提出的方法

• 认识到先前的量子启发算法通过加权二叉树数据结构隐式执行杠杆得分或岭杠杆得分采样。
• 利用该数据结构高效采样与行平方欧几里得范数成比例的行，从而实现杠杆得分采样的模拟。
• 应用已建立的随机化数值线性代数技术——如压缩与基于杠杆得分的采样——构建动态数据结构。
• 设计一种查询数据结构，支持对矩阵-向量乘积与低秩逼近的快速、子线性时间响应。
• 结合拒绝采样与长度平方采样技术，以高概率且有界误差估计矩阵-向量乘积。
• 利用浓度不等式与条件数依赖关系，优化采样矩阵大小与查询时间，实现更优的渐近时间复杂度。

实验结果

研究问题

• RQ1 能否通过经典方法显著降低量子启发算法在回归与推荐系统问题上的子线性时间复杂度？
• RQ2 这些问题的量子启发算法在底层在多大程度上依赖于杠杆得分采样？
• RQ3 能否有效应用随机化数值线性代数领域的丰富研究成果，以改进量子启发的经典算法？
• RQ4 在真实世界数据集上，所提出的经典数据结构与现有方法相比表现如何？
• RQ5 在低秩回归与矩阵逼近问题中，动态子线性时间查询的最优时间复杂度界限是什么？

主要发现

• 所提经典算法在关键参数（如秩、条件数与误差容限）上的依赖关系上实现了更优的子线性时间复杂度，优于以往的量子启发方法。
• 运行时间中的子线性项被降低至 Õ(ε⁻⁶k³ + ε⁻⁴Zλ²‖A‖F²(Zλ²‖A‖F² + k² + kZk²‖A‖F²))，显著优于先前的界限。
• 该方法在查询时间与总运行时间上均快于 [ADBL20] 的最先进算法，且在样本量稍有增加时，精度保持相当或更优。
• 在 MovieLens 100K 与 KOS 数据集上的实验结果表明，当 k=10 时，所提算法在查询与总执行时间上比 [ADBL20] 快达 2 倍。
• 该数据结构支持每项更新在 O(log(nd)) 时间内完成，且保持 O(nnz(A)) 的空间复杂度，从而可高效维护大规模矩阵。
• 理论分析证实，该算法的性能根植于有效的杠杆得分采样，验证了量子启发算法与经典随机化线性代数技术之间的联系。