[论文解读] Scalable Benchmarks for Gate-Based Quantum Computers

Arjan Cornelissen, Johannes Bausch+1 more|arXiv (Cornell University)|Apr 21, 2021

Quantum Computing Algorithms and Architecture参考文献 33被引用 24

一句话总结

本文提出了一种与硬件无关、可扩展的保真度基准测试框架，用于基于量子门的量子计算机，包含六个结构化的量子电路，用于评估设备在门保真度、连通性和量子比特数量等关键指标上的性能。该框架与量子体积的相关性较强——尤其在HHL、曼德尔布罗特和薛定谔显微镜测试中表现突出——为IBM、Rigetti和IonQ等厂商的NISQ时代设备提供了可视化、直观且可量化的比较方式。

ABSTRACT

In the near-term "NISQ"-era of noisy, intermediate-scale, quantum hardware and beyond, reliably determining the quality of quantum devices becomes increasingly important: users need to be able to compare them with one another, and make an estimate whether they are capable of performing a given task ahead of time. In this work, we develop and release an advanced quantum benchmarking framework in order to help assess the state of the art of current quantum devices. Our testing framework measures the performance of universal quantum devices in a hardware-agnostic way, with metrics that are aimed to facilitate an intuitive understanding of which device is likely to outperform others on a given task. This is achieved through six structured tests that allow for an immediate, visual assessment of how devices compare. Each test is designed with scalability in mind, making this framework not only suitable for testing the performance of present-day quantum devices, but also of those released in the foreseeable future. The series of tests are motivated by real-life scenarios, and therefore emphasise the interplay between various relevant characteristics of quantum devices, such as qubit count, connectivity, and gate and measurement fidelity. We present the benchmark results of twenty-one different quantum devices from IBM, Rigetti and IonQ.

研究动机与目标

• 解决在不同架构的近期量子硬件之间缺乏标准化、可比较的评估指标的问题。
• 开发一种基准测试框架，使用户能够超越原始规格，直观、可视化且定量地比较量子设备。
• 提供一个可扩展、结构化的测试套件，反映真实世界量子算法的需求，并综合体现关键设备特性之间的相互作用。
• 将基准测试得分与现有指标（如量子体积）进行关联，以验证该框架的预测能力。
• 基于实测性能，为用户和开发者在选择适合特定量子工作负载的设备时提供指导。

提出的方法

• 设计六个结构化的量子电路——贝尔测试、薛定谔显微镜、曼德尔布罗特、线条绘制、HHL和正多面体分形——每个电路针对不同的量子算法行为。
• 在真实设备上实现每个基准测试，并通过精确的理想模拟版本计算归一化得分，以衡量与目标结果的保真度。
• 利用无噪声模拟和态矢量模拟，分离并量化门误差、测量误差以及设备特有的噪声。
• 应用统计分析计算得分的置信区间，以区分统计波动与设备噪声的影响。
• 对不同设备的得分进行归一化处理，并通过皮尔逊相关系数和可视化散点图，与量子体积进行对比。
• 通过IBM Quantum、Rigetti Forest和Amazon Braket获取并分析来自21台设备（涵盖IBM、Rigetti和IonQ）的数据。

实验结果

研究问题

• RQ1 在不同类型的量子硬件上，结构化量子基准测试与量子体积等既定指标的相关性如何？
• RQ2 哪些基准组件对特定设备特性（如门保真度、量子比特连通性或T1/T2时间）最为敏感？
• RQ3 统一的、与硬件无关的基准测试框架是否能比孤立的门保真度指标提供更直观、更可靠的设备比较？
• RQ4 统计噪声与设备特异性噪声在基准测试得分变化中分别起到何种作用？能否实现有效分离？
• RQ5 现实世界中的量子设备在多大程度上表现符合理想模拟的预测？这揭示了误差传播的何种规律？

主要发现

• HHL、曼德尔布罗特和薛定谔显微镜基准测试与量子体积的相关性最强（r ≈ 0.47–0.51），表明其对整体设备质量高度敏感。
• 贝尔测试和薛定谔显微镜与量子体积的相关性最高（分别为r = 0.40和0.47），表明其具有较强的设备能力预测能力。
• 线条绘制和正多面体分形的相关性最弱（r ≈ 0.15），表明其可能对特定类型的噪声或连通性限制更敏感。
• 平均归一化基准测试得分与量子体积的相关系数为r = 0.51（置信度73%），支持该框架作为整体性能指标的有效性。
• 通过置信区间和理想模拟，可有效分离统计噪声与设备噪声，从而实现更精确的性能归因。
• IonQ设备在大多数基准测试中表现优于其他平台，尤其在曼德尔布罗特和HHL测试中表现突出，反映出其具备极高的门保真度和测量保真度。