[论文解读] Quantum-Inspired Algorithms for Solving Low-Rank Linear Equation Systems with Logarithmic Dependence on the Dimension

Nai-Hui Chia, Gilyén, András+4 more|arXiv (Cornell University)|Nov 12, 2018

Quantum Computing Algorithms and Architecture参考文献 13被引用 40

一句话总结

本文提出了一类受HHL量子算法启发的经典亚线性时间算法，用于求解低秩线性系统。通过利用对矩阵和向量元素的采样访问，作者实现了 O(poly(k, κ, ∥A∥F, 1/ϵ) polylog(m, n)) 的查询复杂度与时间复杂度，即使在无法完成完整矩阵重构的情况下，也能以 ϵ-精度高效地从 A⁻¹b 中采样并估计其元素。

ABSTRACT

We present classical sublinear-time algorithms for solving low-rank linear systems of equations. Our algorithms are inspired by the HHL quantum algorithm for solving linear systems and the recent breakthrough by Tang of dequantizing the quantum algorithm for recommendation systems. Let $A \in \mathbb{C}^{m imes n}$ be a rank-$k$ matrix, and $b \in \mathbb{C}^m$ be a vector. We present two algorithms: a "sampling" algorithm that provides a sample from $A^{-1}b$ and a "query" algorithm that outputs an estimate of an entry of $A^{-1}b$, where $A^{-1}$ denotes the Moore-Penrose pseudo-inverse. Both of our algorithms have query and time complexity $O(\mathrm{poly}(k, κ, \|A\|_F, 1/ε)\,\mathrm{polylog}(m, n))$, where $κ$ is the condition number of $A$ and $ε$ is the precision parameter. Note that the algorithms we consider are sublinear time, so they cannot write and read the whole matrix or vectors. In this paper, we assume that $A$ and $b$ come with well-known low-overhead data structures such that entries of $A$ and $b$ can be sampled according to some natural probability distributions. Alternatively, when $A$ is positive semidefinite, our algorithms can be adapted so that the sampling assumption on $b$ is not required.

研究动机与目标

• 开发可在亚线性时间内求解低秩线性系统 A x = b 的经典算法，避免对完整矩阵的访问。
• 实现对解向量 x = A⁻¹b 的高效采样以及对 x(i) 的高精度逐元素估计。
• 通过依赖 A 和 b 的采样预言机，消除对完整数据访问的需求，从而实现对大规模问题的可扩展性。
• 在合理的采样假设下，证明经典算法可匹配量子算法在求解线性系统时的对数时间复杂度。
• 将去量化框架扩展至线性系统，基于低秩逼近与量子启发采样技术构建。

提出的方法

• 利用采样预言机：能够按行范数比例采样矩阵 A 的行索引，按绝对值大小比例采样行内元素，按大小比例采样向量 b 的元素。
• 通过随机子矩阵采样（受 Frieze 等人启发）进行低秩逼近，构建 A 的紧凑表示。
• 采用两阶段方法：首先利用采样子矩阵估计 A 的伪逆，然后通过高效的向量-矩阵乘积估计将其作用于 b。
• 提出一种基于采样子矩阵的新型简洁近似逆表示，支持 A⁻¹b 元素的高效计算与采样。
• 应用有界误差的内积估计技术（如 x†Mx），利用对向量的采样访问，扩展 Tang 的框架。
• 在小规模子矩阵上执行奇异值分解，以近似主导奇异子空间，随后对奇异值求逆，以估计 A⁻¹b。

实验结果

研究问题

• RQ1 经典算法能否在求解低秩线性系统时实现亚线性时间复杂度，匹配 HHL 量子算法的对数运行时间？
• RQ2 在何种对 A 和 b 的采样假设下，可无需读取完整矩阵即高效地从 A⁻¹b 中采样或估计其元素？
• RQ3 去量化框架能否从推荐系统扩展至具有低秩结构的一般线性系统？
• RQ4 条件数 κ 与 Frobenius 范数 ∥A∥F 如何影响在采样访问下经典求解器的查询与时间复杂度？
• RQ5 在采样访问下，近似误差 ϵ 与计算成本之间的权衡是什么？

主要发现

• 所提出的算法实现了 O(poly(k, κ, ∥A∥F, 1/ϵ) polylog(m, n)) 的查询与时间复杂度，支持低秩线性系统的亚线性计算。
• 采样算法以 1−δ 的成功概率，生成与 DA⁻¹b 在总变差距离上 ϵ-接近的分布。
• 查询算法以相同的复杂度边界，以 1−δ 的成功概率，对任意 (A⁻¹b)(i) 进行加法误差 ϵ 的估计。
• 当 A 为半正定时，对 b 的采样假设可被移除，允许通过其元素直接访问 b。
• 算法对近似误差具有鲁棒性：通过重新缩放误差参数，总误差被控制在 ϵ 以内，且显式依赖于 k, κ, ∥A∥F 与 ∥b∥。
• 该框架支持使用相同采样原语高效估计二次型如 x†Mx，从而将适用范围扩展至更广泛的机器学习任务。