[论文解读] Quantum Algorithms for Solving Dynamic Programming Problems

Pooya Ronagh|arXiv (Cornell University)|Jun 5, 2019

Quantum Computing Algorithms and Architecture被引用 14

一句话总结

本文提出了一种通用的量子算法，用于求解有限时域动态规划问题，通过利用量子幅度放大和量子态制备，实现了在状态数量上的二次加速（至多包含对数因子）；该方法可加速求解如TSP和最小集合覆盖等NP难问题，具体运行时间界限为：TSP为$O^*(\lceil c \rceil^4 \sqrt{2^n})$，集合覆盖为$O(\sqrt{2^n} \cdot \text{poly}(m,n))$。

ABSTRACT

We present a general quantum algorithm for solving finite-horizon dynamic programming problems. Up to polylogarithmic factors, our algorithm provides a quadratic quantum advantage in terms of the number of states of a given dynamic programming problem. This speedup comes at the expense of the appearance of other polynomial factors representative of the number of actions of the dynamic programming problem, the maximum value of the instantaneous reward, and the time horizon of the problem. Our algorithm can be applied to combinatorial optimization problems solved classically using dynamic programming techniques. As one application, we show that the travelling salesperson problem can be solved in $O^*(\lceil c ceil^4 \sqrt{2^n})$ on a quantum computer, where $n$ is the number of vertices of the underlying graph and $\lceil c ceil$ is its maximum edge-weight. As another example, we show that the minimum set-cover problem can be solved in $O(\sqrt{2^n} \operatorname{poly}(m, n))$, where $m$ is the number of sets used to cover a universe of size $n$. Finally, we prove lower bounds for the query complexity of quantum algorithms and classical randomized algorithms for solving dynamic programming problems, and show that no greater-than-quadratic speedup in either the number of states or number of actions can be achieved for solving dynamic programming problems using quantum algorithms.

研究动机与目标

• 开发一种适用于有限时域动态规划问题的通用量子算法。
• 在状态数量方面，实现相对于经典动态规划方法的量子加速。
• 分析量子与经典算法在动态规划问题上的查询复杂度。
• 建立此类问题中通过量子算法可实现的加速潜力的紧致下界。
• 在如TSP和最小集合覆盖等NP难组合优化问题上展示实际应用。

提出的方法

• 该算法利用量子幅度放大来加速动态规划中价值函数的评估。
• 将状态-动作空间编码为量子态，并应用量子相位估计算法来估计价值函数的更新。
• 利用量子态制备技术初始化所有可能状态和动作的叠加态。
• 通过幅度放大技术增强随时间步进的最优或高奖励状态-动作对的概率。
• 使用编码问题转移函数和奖励函数的量子预言机来处理奖励和转移。
• 通过受控幅度放大，在状态数、动作数、时域长度和奖励幅度之间实现权衡。

实验结果

研究问题

• RQ1 是否存在一种通用的量子算法，可在有限时域动态规划问题上实现超越经典方法的加速？
• RQ2 在动态规划问题中，基于状态数和动作数，可实现的最大量子加速是多少？
• RQ3 该量子算法能否高效应用于如旅行商问题和最小集合覆盖等NP难问题？
• RQ4 与经典随机化算法相比，该量子算法的查询复杂度如何？
• RQ5 使用量子或经典算法求解动态规划问题时，查询复杂度的紧致下界是什么？

主要发现

• 该量子算法在状态数量上实现了相对于经典动态规划的二次加速（至多包含对数因子）。
• 对于具有n个顶点和最大边权c的旅行商问题，该算法的运行时间为$O^*(\lceil c \rceil^4 \sqrt{2^n})$。
• 使用该量子算法，最小集合覆盖问题的求解时间可控制在$O(\sqrt{2^n} \cdot \text{poly}(m,n))$以内。
• 该算法的加速受到限制：在状态数或动作数上，无法实现超过二次的改进。
• 下界分析表明，该设定下量子算法的二次加速在状态数和动作数上均为最优。
• 该方法表明，量子算法能够高效求解传统上依赖经典动态规划求解的NP难问题。