[论文解读] QPack Scores: Quantitative performance metrics for application-oriented quantum computer benchmarking

Huub Donkers, Koen Mesman+2 more|arXiv (Cornell University)|May 24, 2022

Quantum Computing Algorithms and Architecture被引用 6

一句话总结

本文提出了 QPack Scores，一种针对 NISQ 时代量子计算机和模拟器的定量基准测试框架，通过 QAOA 和 VQE 应用程序评估运行时间、精度、可扩展性和容量。该框架通过将量子执行数据转换为标准化子得分和总体基准分数，实现了跨平台的全面比较，已在本地模拟器、云模拟器和 IBMQ Nairobi 硬件上展示了其有效性。

ABSTRACT

This paper presents the benchmark score definitions of QPack, an application-oriented cross-platform benchmarking suite for quantum computers and simulators, which makes use of scalable Quantum Approximate Optimization Algorithm and Variational Quantum Eigensolver applications. Using a varied set of benchmark applications, an insight of how well a quantum computer or its simulator performs on a general NISQ-era application can be quantitatively made. This paper presents what quantum execution data can be collected and transformed into benchmark scores for application-oriented quantum benchmarking. Definitions are given for an overall benchmark score, as well as sub-scores based on runtime, accuracy, scalability and capacity performance. Using these scores, a comparison is made between various quantum computer simulators, running both locally and on vendors' remote cloud services. We also use the QPack benchmark to collect a small set of quantum execution data of the IBMQ Nairobi quantum processor. The goal of the QPack benchmark scores is to give a holistic insight into quantum performance and the ability to make easy and quick comparisons between different quantum computers

研究动机与目标

• 解决 NISQ 时代量子计算机和模拟器缺乏全面、基于应用的性能评估问题。
• 克服传统低层次指标（如量子体积）的局限性，提供系统级性能洞察。
• 通过真实世界的应用工作负载，实现对多样化量子软硬件平台的直接、定量比较。
• 开发一个标准化、可扩展的基准测试套件，捕捉噪声中等规模量子系统中的实际性能权衡。

提出的方法

• 设计一个基于 LibKet 的跨平台基准测试套件 QPack，用于在多种量子平台上执行 QAOA 和 VQE 电路。
• 在基准测试运行期间收集原始量子执行数据——包括运行时间、输出精度、优化器迭代次数和电路深度。
• 将收集到的数据转化为四个子得分：运行时间、精度、可扩展性和容量，每个子得分均经过归一化和加权处理。
• 通过四个子得分的加权平均计算总体基准分数，实现跨平台的直接比较。
• 将评分框架应用于本地模拟器（Cirq、Qiskit Aer、QuEST、Rigetti QVM）、远程云模拟器（IBMQ QASM、IonQ）以及真实硬件（IBMQ Nairobi）。
• 使用标准化的问题实例（MaxCut、自旋链、随机对角哈密顿量、TSP、MIS）以确保跨平台的一致性评估。

实验结果

研究问题

• RQ1 如何通过真实的应用工作负载，对运行时间、精度、可扩展性和容量等多个维度的量子性能进行定量测量？
• RQ2 现有量子模拟器和真实硬件平台在这些维度上的性能差异有多大？
• RQ3 统一的基准测试框架是否能够实现在多样化量子平台（包括本地和云系统）之间的公平且可复现的比较？
• RQ4 真实量子硬件（如 IBMQ Nairobi）的性能特征与高保真度模拟器相比如何？
• RQ5 该基准测试揭示了在实际 NISQ 应用中，量子比特数量、门保真度和电路深度之间的性能权衡有哪些关键洞见？

主要发现

• QPack 基准测试成功地在四个维度上量化了量子性能：运行时间、精度、可扩展性和容量，实现了全面的评估。
• IBMQ QASM 模拟器在所有测试模拟器中获得了最高的总体基准分数（11.63），在运行时间和精度方面优于本地和远程替代方案。
• QuEST 模拟器在容量得分上达到最高分（15.00），并展现出强劲的可扩展性（13.67），表明其在处理大规模电路时表现优异。
• IBMQ Nairobi 量子处理器获得了中等水平的总体分数（3.70），但精度（3.07）和容量（1.65）得分较低，凸显其在抗噪声能力和量子比特连通性方面的局限性。
• 远程模拟器如 IonQ 和 IBMQ QASM 表现出具有竞争力的性能，其中 IonQ 在可扩展性方面得分高达 11.00，精度也达到 9.25。
• 基准测试揭示了显著的性能权衡：例如，Rigetti QVM 在可扩展性方面表现优异（14.00），但精度得分极低（1.21），表明其存在高噪声或门保真度不足的问题。