[论文解读] Symmetric Pruning in Quantum Neural Networks

Xinbiao Wang, Junyu Liu+4 more|arXiv (Cornell University)|Aug 30, 2022

Quantum Computing Algorithms and Architecture被引用 12

一句话总结

本文提出了有效量子神经正切核（EQNTK），以理论解释为何量子神经网络（QNN）中的对称ansatz相较于非对称ansatz能实现更快收敛和更优可训练性。通过将低有效维度与高EQNTK值关联至高效过参数化，作者提出对称剪枝（SP）方法，可自动从过参数化的非对称电路中提取对称且硬件高效的ansatz——即使在缺乏显式对称性知识的情况下亦可实现——并在NISQ设备上显著降低电路深度与测量次数，从而实现更快、更高效的训练。

ABSTRACT

Many fundamental properties of a quantum system are captured by its Hamiltonian and ground state. Despite the significance of ground states preparation (GSP), this task is classically intractable for large-scale Hamiltonians. Quantum neural networks (QNNs), which exert the power of modern quantum machines, have emerged as a leading protocol to conquer this issue. As such, how to enhance the performance of QNNs becomes a crucial topic in GSP. Empirical evidence showed that QNNs with handcraft symmetric ansatzes generally experience better trainability than those with asymmetric ansatzes, while theoretical explanations have not been explored. To fill this knowledge gap, here we propose the effective quantum neural tangent kernel (EQNTK) and connect this concept with over-parameterization theory to quantify the convergence of QNNs towards the global optima. We uncover that the advance of symmetric ansatzes attributes to their large EQNTK value with low effective dimension, which requests few parameters and quantum circuit depth to reach the over-parameterization regime permitting a benign loss landscape and fast convergence. Guided by EQNTK, we further devise a symmetric pruning (SP) scheme to automatically tailor a symmetric ansatz from an over-parameterized and asymmetric one to greatly improve the performance of QNNs when the explicit symmetry information of Hamiltonian is unavailable. Extensive numerical simulations are conducted to validate the analytical results of EQNTK and the effectiveness of SP.

研究动机与目标

• 理解为何QNN中的对称ansatz相较于非对称ansatz表现出更优的可训练性与更快收敛速度。
• 构建一个理论框架，关联QNN中的对称性、有效维度与收敛行为。
• 设计一种方法，当对称性信息不可用时，能自动从过参数化的非对称电路中生成对称且高效的ansatz。
• 通过减少电路深度与测量次数等量子资源需求，提升QNN的硬件效率。
• 通过在基态制备任务上的广泛数值模拟，验证理论洞见。

提出的方法

• 提出有效量子神经正切核（EQNTK）作为训练动态的度量，捕捉ansatz对称性对收敛的影响。
• 将QNN的有效维度定义为决定过参数化阈值的关键因素，较低值可实现更快收敛。
• 引入对称剪枝（SP），通过应用系统对称性、结构对称性与空间对称性，系统性地从非对称ansatz中提取对称结构。
• 利用EQNTK指导剪枝过程，识别能保持高核值与低有效维度的参数子空间。
• 分阶段应用SP：SP0（初始过参数化ansatz）、SP1（系统对称性）、SP2（电路结构对称性）、SP3（空间对称性），逐步减少参数量与深度。
• 通过两个指标评估硬件效率：达到ε-收敛（ε=10−5）所需的每优化步测量次数与电路深度。

实验结果

研究问题

• RQ1 为何QNN中的对称ansatz尽管缺乏严谨理论解释，仍能实现比非对称ansatz更快的收敛与更优可训练性？
• RQ2 有效维度与EQNTK能否用于量化QNN中的过参数化阈值与收敛行为？
• RQ3 对称剪枝（SP）在不牺牲收敛速度的前提下，能在多大程度上减少量子资源需求？
• RQ4 缺乏显式对称性信息时，如何影响QNN中高效ansatz的设计？
• RQ5 EQNTK在实践中能否准确预测对称QNN的训练动态？

主要发现

• 由于有效维度低且EQNTK值高，对称ansatz在达到过参数化区域时所需参数更少、电路深度更低，从而实现快速收敛。
• 在横向场伊辛模型（TFIM）中，对称剪枝（SP）方案将每优化步所需测量次数减少最多14倍；在Erdos-Renyi MaxCut问题中，减少10倍。
• 在TFIM中，电路深度减少3倍；在Erdos-Renyi与3-正则图的MaxCut任务中，分别减少1.8至2倍；尽管某些情况下深度略有增加，SP3在效率上仍优于SP1。
• 数值结果证实，残差训练误差呈指数衰减，与定理2的理论预测一致，验证了EQNTK捕捉真实训练动态的能力。
• SP3处理后的ansatz在量子资源使用量低于初始非对称ansatz的前提下，实现了ε-收敛（ε=10−5），证明其在NISQ设备上具备更高的硬件效率。
• 该方法即使在未显式提供对称性信息时，也能通过SP自动提取对称结构，实现高效的QNN性能。