[论文解读] QASMBench: A Low-level QASM Benchmark Suite for NISQ Evaluation and Simulation

Ang Li, Samuel Stein+2 more|arXiv (Cornell University)|May 26, 2020

Quantum Computing Algorithms and Architecture参考文献 113被引用 46

一句话总结

tldr: QASMBench 提供一个面向 NISQ 设备的低层次 OpenQASM 基准套件，introducing four circuit metrics 并在多个平台上评估 fidelity。

ABSTRACT

The rapid development of quantum computing (QC) in the NISQ era urgently demands a low-level benchmark suite and insightful evaluation metrics for characterizing the properties of prototype NISQ devices, the efficiency of QC programming compilers, schedulers and assemblers, and the capability of quantum system simulators in a classical computer. In this work, we fill this gap by proposing a low-level, easy-to-use benchmark suite called QASMBench based on the OpenQASM assembly representation. It consolidates commonly used quantum routines and kernels from a variety of domains including chemistry, simulation, linear algebra, searching, optimization, arithmetic, machine learning, fault tolerance, cryptography, etc., trading-off between generality and usability. To analyze these kernels in terms of NISQ device execution, in addition to circuit width and depth, we propose four circuit metrics including gate density, retention lifespan, measurement density, and entanglement variance, to extract more insights about the execution efficiency, the susceptibility to NISQ error, and the potential gain from machine-specific optimizations. Applications in QASMBench can be launched and verified on several NISQ platforms, including IBM-Q, Rigetti, IonQ and Quantinuum. For evaluation, we measure the execution fidelity of a subset of QASMBench applications on 12 IBM-Q machines through density matrix state tomography, which comprises 25K circuit evaluations. We also compare the fidelity of executions among the IBM-Q machines, the IonQ QPU and the Rigetti Aspen M-1 system. QASMBench is released at: http://github.com/pnnl/QASMBench.

研究动机与目标

• 提供一个基于 OpenQASM 的低层次、易于使用的 QC 基准套件，用于 NISQ 评估。
• 整合来自化学、仿真、线性代数等领域的多样化量子例程。
• 引入电路指标以分析执行效率和错误易感性。
• 在 IBM-Q、Rigetti、IonQ 和 Quantinuum 上实现跨平台基准测试。
• 支持翻译为其他 QC 表示，以最大限度提升可用性。

提出的方法

• 组装一个跨多个领域（化学、仿真、ML、密码学等）的多样化 OpenQASM 电路集合。
• 定义 four 个电路指标——gate density、retention lifespan、measurement density 和 entanglement variance——以进行更深入的 NISQ 分析。
• 在真实设备上评估基准（12 台 IBM-Q 机器），使用密度矩阵态层析来测量保真度。
• 比较 IBM-Q 机器、IonQ QPU 和 Rigetti Aspen M-1 的保真度，以揭示平台特有的行为。
• 提供开源发布和翻译工具（q-convert）到其他 QC 表示。

实验结果

研究问题

• RQ1 哪些低层次基准和指标对于评估 NISQ 设备性能、编译器和仿真器有效？
• RQ2 QASMBench 电路在不同 NISQ 平台上的保真度表现如何？
• RQ3 基于 OpenQASM 的基准是否能够实现公平的跨平台比较并提供硬件/软件协同设计的洞见。

主要发现

• 浅层电路通常由于执行时间较短而表现出比深层电路更高的保真度。
• 大型机器（例如 IBM-Q Washington 127 qubits）相比小型设备显示出较低的保真度。
• QASMBench 电路可以在 IBM-Q、Rigetti、IonQ 和 Quantinuum 平台上上传并评估。
• IBM-Q 超导量子计算机、IonQ QPU 和 Rigetti Aspen M-1 的保真度差异揭示了平台特定的错误特征。
• 这四个提出的指标对所观察到的保真度和硬件优化效应具有解释力。