[论文解读] Policies for elementary link generation in quantum networks.

Sumeet Khatri|arXiv (Cornell University)|Jul 7, 2020

Quantum Information and Cryptography参考文献 72被引用 8

一句话总结

本文将量子网络中的基本链路生成建模为量子部分可观察马尔可夫决策过程（POMDP），通过动态规划实现策略优化。详细分析了记忆截止策略，推导出在任意噪声模型下基本链路的时间演化量子态与保真度，并为完整量子网络协议的强化学习奠定了基础。

ABSTRACT

Protocols in a quantum network involve multiple parties performing actions on their quantum systems in a carefully orchestrated manner over time in order to accomplish a given task. This sequence of actions over time is often referred to as a strategy, or policy. In this work, we consider policy optimization in a quantum network. Specifically, as a first step towards developing full-fledged quantum network protocols, we consider policies for generating elementary links in a quantum network. We start by casting elementary link generation as a quantum partially observable Markov decision process, as defined in [Phys. Rev. A 90, 032311 (2014)]. Then, we analyze in detail the commonly used memory cutoff policy. Under this policy, once an elementary link is established it is kept in quantum memory for some amount $t^{\star}$ of time, called the cutoff, before it is discarded and the elementary link generation is reattempted. For this policy, we determine the average quantum state of the elementary link as a function of time for an arbitrary number of nodes in the link, as well as the average fidelity of the link as a function of time for any noise model for the quantum memories. Finally, we show how optimal policies can be obtained in the finite-horizon setting using dynamic programming. By casting elementary link generation as a quantum decision process, this work goes beyond the analytical results derived here by providing the theoretical framework for performing reinforcement learning of practical quantum network protocols.

研究动机与目标

• 开发一个用于优化量子网络策略的理论框架，从基本链路生成开始。
• 将基本链路生成建模为量子部分可观察马尔可夫决策过程（POMDP），以实现系统化的策略设计。
• 分析广泛使用的记忆截止策略，确定其在一般噪声模型下随时间变化的量子态与保真度。
• 展示如何在有限时域设置中使用动态规划计算最优策略。
• 为应用强化学习设计实用的量子网络协议奠定基础。

提出的方法

• 将基本链路生成形式化为量子POMDP，使决策理论方法可应用于量子网络。
• 定义记忆截止策略，即在固定时间 $ t^\star $ 后丢弃链路并重新尝试。
• 推导出基本链路随时间与节点数量变化的时变密度矩阵。
• 计算在任意量子存储器噪声模型下，链路保真度随时间的平均值。
• 应用动态规划以在有限时域场景中寻找最优策略。
• 提供一个理论框架，支持对复杂量子网络协议应用强化学习。

实验结果

研究问题

• RQ1 在多节点网络中，记忆截止策略下基本链路的量子态如何随时间演化？
• RQ2 在一般量子存储器噪声模型下，基本链路的保真度如何随时间变化？
• RQ3 如何在有限时域设置中计算基本链路生成的最优策略？
• RQ4 记忆截止策略在状态演化与保真度衰减方面具有哪些解析性质？
• RQ5 如何利用量子POMDP框架实现对量子网络协议的强化学习？

主要发现

• 推导出记忆截止策略下基本链路的平均量子态，作为时间与链路中节点数量的函数。
• 在任意给定的存储器噪声模型下，链路的平均保真度被解析表达为时间的函数。
• 记忆截止策略的性能可被精确量化，从而可与其他策略进行比较。
• 有限时域设置下的最优策略可系统地通过动态规划计算得出。
• 量子POMDP框架使强化学习技术可扩展至量子网络协议设计。
• 本工作为学习与优化完整量子网络协议建立了基础理论框架。