[论文解读] Towards provably efficient quantum algorithms for large-scale machine-learning models

Junyu Liu, Minzhao Liu+6 more|arXiv (Cornell University)|Mar 6, 2023

Stochastic Gradient Optimization Techniques参考文献 92被引用 4

一句话总结

本文提出了一种可证明高效的容错量子算法，用于大规模机器学习，通过改进的HHL型算法实现量子增强的梯度下降。该算法在训练稀疏、耗散模型时实现了理论上的 𝒪(T² × polylog(n)) 缩放，表明在剪枝后的早期训练阶段可能存在量子加速，数值证据已扩展至1.03亿参数。

ABSTRACT

Large machine learning models are revolutionary technologies of artificial intelligence whose bottlenecks include huge computational expenses, power, and time used both in the pre-training and fine-tuning process. In this work, we show that fault-tolerant quantum computing could possibly provide provably efficient resolutions for generic (stochastic) gradient descent algorithms, scaling as O(T^2 polylog(n)), where n is the size of the models and T is the number of iterations in the training, as long as the models are both sufficiently dissipative and sparse, with small learning rates. Based on earlier efficient quantum algorithms for dissipative differential equations, we find and prove that similar algorithms work for (stochastic) gradient descent, the primary algorithm for machine learning. In practice, we benchmark instances of large machine learning models from 7 million to 103 million parameters. We find that, in the context of sparse training, a quantum enhancement is possible at the early stage of learning after model pruning, motivating a sparse parameter download and re-upload scheme. Our work shows solidly that fault-tolerant quantum algorithms could potentially contribute to most state-of-the-art, large-scale machine-learning problems.

研究动机与目标

• 开发一种理论基础扎实、可证明高效的量子算法，用于训练大规模机器学习模型。
• 解决像GPT-3这样的大型模型训练所导致的高计算成本和碳足迹问题。
• 识别量子算法在标准机器学习工作流中优于经典方法的条件。
• 将关注点从变分量子算法转向经典训练瓶颈的端到端量子加速。
• 为梯度下降中的量子加速建立理论保证，特别是在稀疏和耗散设置下。

提出的方法

• 将高效求解耗散微分方程的量子算法适配于求解（随机）梯度下降问题。
• 应用改进的HHL算法对稀疏矩阵求逆，以加速神经网络训练中的权重更新。
• 对模型稀疏性和耗散性施加约束，以确保理论上可实现量子加速。
• 通过线性化训练动力学，将非线性优化问题映射为可由量子微分方程求解器求解的形式。
• 在剪枝后采用参数下载与重新上传机制，以实现对稀疏模型状态的量子处理。
• 依赖容错量子计算假设，以确保错误鲁棒性和可证明效率。

实验结果

研究问题

• RQ1 容错量子算法能否为大规模机器学习中的梯度下降提供可证明高效的解决方案？
• RQ2 在何种条件下——特别是稀疏性和耗散性——量子算法能在实践中优于经典训练？
• RQ3 在模型剪枝后的训练初期是否存在量子优势，此时误差增长尚未呈指数级上升？
• RQ4 量子增强的梯度下降能否在标准机器学习流水线中集成，并具备理论保证？
• RQ5 对于耗散性和稀疏性，存在哪些形式化标准，可确保在训练大规模模型时维持量子加速？

主要发现

• 所提出的量子算法在训练大规模、稀疏且耗散的模型时，实现了理论运行时间缩放 𝒪(T² × polylog(n))。
• 数值基准测试表明，在剪枝后的早期训练阶段存在潜在的量子增强，尤其在稀疏参数区域表现显著。
• 该算法对模型规模具有鲁棒性，成功模拟至1.03亿参数，表明具备可扩展性。
• 该加速无法被Tang等人的经典方法“去量化化”，因为它依赖于通过非线性耗散动力学求解BQP难问题。
• 该方法与“彩票券假说”一致，因为在恒定或多项式缩放稀疏性下仍能保持性能。
• 本工作提供了一个实现经典训练端到端量子加速的框架，将关注点从变分算法转向核心优化瓶颈。