[论文解读] Toward Trainability of Quantum Neural Networks

Kaining Zhang, Min-Hsiu Hsieh+2 more|arXiv (Cornell University)|Nov 12, 2020

Quantum Computing Algorithms and Architecture参考文献 33被引用 43

一句话总结

本文通过推导梯度范数的下界，证明了树张量（TT）和步控制（SC）量子神经网络的可训练性，并在二元分类任务中展示了相对于随机 QNN 的训练与精度优势。它避免了单位元 2-design 假设，并通过对 MNIST 派生数据的仿真实验验证结果。

ABSTRACT

Quantum Neural Networks (QNNs) have been recently proposed as generalizations of classical neural networks to achieve the quantum speed-up. Despite the potential to outperform classical models, serious bottlenecks exist for training QNNs; namely, QNNs with random structures have poor trainability due to the vanishing gradient with rate exponential to the input qubit number. The vanishing gradient could seriously influence the applications of large-size QNNs. In this work, we provide a viable solution with theoretical guarantees. Specifically, we prove that QNNs with tree tensor and step controlled architectures have gradients that vanish at most polynomially with the qubit number. We numerically demonstrate QNNs with tree tensor and step controlled structures for the application of binary classification. Simulations show faster convergent rates and better accuracy compared to QNNs with random structures.

研究动机与目标

• 解决量子神经网络（QNN）中的荒地效应问题。
• 引入具备可证明可训练性的 TT-QNN 和 SC-QNN 架构。
• 提供不依赖 2-design 假设的梯度范数下界。
• 通过仿真展示 TT-QNN 和 SC-QNN 在训练与准确性方面优于随机结构 QNN。
• 提供可用于近端量子设备的输入编码框架与理论保证。

提出的方法

• 定义 TT-QNN 与 SC-QNN 架构及其参数化电路。
• 证明梯度范数的下界：E||∇θ fTT||^2 ≥ ~Ω(1/n) 且 E||∇θ fSC||^2 ≥ ~Ω(2−nc)。
• 利用参数位移规则计算单量子比特相位编码门的梯度。
• 引入编码电路以制备输入态，并通过定理 3.2 (Eβα(ρin) ≥ 2−2L) 对 α(ρin) 进行上界。
• 在推导中不依赖单位元 2-design 假设。
• 在 MNIST 派生数据上进行二元分类实验，比较 TT-QNN、SC-QNN 与 Random-QNN。

实验结果

研究问题

• RQ1 TT-QNN 和 SC-QNN 是否能够避免荒地效应并提供多项式界的梯度范数？
• RQ2 TT-QNN 与 SC-QNN 的梯度范数下界是多少，它们如何随 n 和 nc 而变化？
• RQ3 输入态编码如何影响可训练性与梯度行为？
• RQ4 TT-QNN 与 SC-QNN 架构在二元分类中是否比随机结构 QNN 具有更好的训练动力学和准确性？

主要发现

• TT-QNN 的梯度范数下界为 ~Ω(1/n)。
• SC-QNN 的梯度范数下界为 ~Ω(2−nc)。
• 这些界在不假设单位元 2-design 的前提下成立，并适用于线性深度电路。
• 对编码电路的分析表明 Eβα(ρin) ≥ 2−2L，使对输入态变化的梯度估计更加稳定。
• 在基于 MNIST 的二元分类实验中，TT-QNN 和 SC-QNN 在训练损失和测试准确性方面优于 Random-QNN，覆盖多种比特数（n=8、10、12）。
• 仿真中观察到的梯度范数与理论界一致。