[论文解读] Quality, Speed, and Scale: three key attributes to measure the performance of near-term quantum computers

Andrew Wack, Hanhee Paik+5 more|arXiv (Cornell University)|Oct 26, 2021

Quantum Computing Algorithms and Architecture被引用 55

一句话总结

本论文为近-term 量子计算机定义三个性能属性——规模、质量和速度，并引入 CLOPS 基准来衡量速度，同时用量子体积衡量质量和比特数来衡量规模，在 IBM 系统上进行测量。

ABSTRACT

Defining the right metrics to properly represent the performance of a quantum computer is critical to both users and developers of a computing system. In this white paper, we identify three key attributes for quantum computing performance: quality, speed, and scale. Quality and scale are measured by quantum volume and number of qubits, respectively. We propose a speed benchmark, using an update to the quantum volume experiments that allows the measurement of Circuit Layer Operations Per Second (CLOPS) and identify how both classical and quantum components play a role in improving performance. We prescribe a procedure for measuring CLOPS and use it to characterize the performance of some IBM Quantum systems.

研究动机与目标

• 推动需要一个能够反映真实工作负载中量子-经典交互的整体基准。
• 定义三项核心性能属性：规模（量子比特）、质量（量子体积）和速度（CLOPS）。
• 提出并将 CLOPS 基准用于衡量实际量子计算用例中的速度。
• 描述量子体积与 CLOPS 如何互相关联，以及运行时编译和数据传输如何影响整体性能。

提出的方法

• 定义并论证三项性能属性（规模、质量、速度）。
• 采用并更新量子体积作为质量度量并引入电路层操作每秒（CLOPS）速度基准。
• 描述一个100条电路模板、参数化的 CLOPS 工作负载，以捕捉运行时和数据传输开销。
• 提供测量 CLOPS 的详细程序，包括运行时编译、参数更新和数据传输时间。
• 将 CLOPS 应用于 IBM 量子系统，以说明现实世界瓶颈和性能驱动因素。

实验结果

研究问题

• RQ1 如何在真实用户工作负载（涉及量子-经典交互）中表征量子计算机的性能？
• RQ2 规模、质量和速度如何相互作用，哪些基准最能捕捉这些相互作用？
• RQ3 在具有代表性、参数化电路工作负载的情况下，当前 IBM 量子系统的实际性能（CLOPS）如何？

主要发现

• 质量由量子体积（QV）体现，反映相干性、门保真度、测量保真度、连通性和编译器效应。
• 规模由量子比特数量表示，影响问题规模并潜在提升其他指标。
• CLOPS 通过测量每秒执行的量子体积层来提供整体速度指标，涵盖电路执行、运行时编译、数据传输和参数更新。
• 在具有相同量子体积的设备之间（如 5 量子比特与 65 量子比特系统）测得的 CLOPS 存在差异，显示真实世界的瓶颈超越门速。
• 电路延迟和运行时编译/数据传输主导 CLOPS，凸显软件栈和数据移动优化的机会。
• 可以从 CLOPS 推导出深度为 1 的电路性能指标，以在不依赖电路深度的情况下比较系统速度。