[论文解读] Theory of overparametrization in quantum neural networks

Martín Larocca, Nathan Ju+3 more|arXiv (Cornell University)|Sep 23, 2021

Quantum Computing Algorithms and Architecture被引用 28

一句话总结

本文提供了一个理论框架，表明当参数数量超过与动力李代数相关的一个临界阈值时，QNNs 将变得过参数化，从而获得更平坦、可训练性更强的损失景观，并使量子费舍信息容量达到饱和。

ABSTRACT

The prospect of achieving quantum advantage with Quantum Neural Networks (QNNs) is exciting. Understanding how QNN properties (e.g., the number of parameters $M$) affect the loss landscape is crucial to the design of scalable QNN architectures. Here, we rigorously analyze the overparametrization phenomenon in QNNs with periodic structure. We define overparametrization as the regime where the QNN has more than a critical number of parameters $M_c$ that allows it to explore all relevant directions in state space. Our main results show that the dimension of the Lie algebra obtained from the generators of the QNN is an upper bound for $M_c$, and for the maximal rank that the quantum Fisher information and Hessian matrices can reach. Underparametrized QNNs have spurious local minima in the loss landscape that start disappearing when $M\geq M_c$. Thus, the overparametrization onset corresponds to a computational phase transition where the QNN trainability is greatly improved by a more favorable landscape. We then connect the notion of overparametrization to the QNN capacity, so that when a QNN is overparametrized, its capacity achieves its maximum possible value. We run numerical simulations for eigensolver, compilation, and autoencoding applications to showcase the overparametrization computational phase transition. We note that our results also apply to variational quantum algorithms and quantum optimal control.

研究动机与目标

• 激发研究量子神经网络（QNNs）中过参数化及其对可训练性和泛化的影响。
• 使用量子费舍信息和动力李代数（DLA）来定义并形式化 QNNs 中的过参数化。
• 建立将临界参数计数 Mc 与 DLA 维度联系起来的理论界限，并研究对 QNN 容量的含义。
• 通过数值模拟展示在多种任务中，过参数化起始处出现的计算相变。
• 将过参数化与变分量子算法、量子最优控制等更广泛的背景联系起来。

提出的方法

• 将 QNNs 模型化为具有生成元 G 的 L 层周期性参数化电路，并进行基于 Hessian 的损失分析。
• 用由 G 生成的动力李代数 g 来界定可达状态空间和 QFIM 的秩。
• 通过在训练状态上的 QFIM 秩达到饱和来定义过参数化（定义 3）。
• 证明定理1：Rμ ≤ dim(gS) 且 M ≥ dim(gS) 是过参数化的充分条件。
• 证明定理2：模型容量 D1 和 D2 均 ≤ dim(gS)，在过参数化下达到饱和。
• 证明定理3：在某些损失形式下，最优解处的 Hessian 秩由 min{dim(gS), 2dr−r^2−r} 界限。
• 在 VQE、单位元编译和量子自编码等任务上给出数值示例以说明相变。

实验结果

研究问题

• RQ1 在给定训练集 S 的前提下，能够实现过参数化的最小参数数量 M 是多少？
• RQ2 与 QNN 生成元相关的动力李代数的维度如何界定 QFIM 秩和 Hessian 秩？
• RQ3 过参数化是否对应于 QNN 容量的饱和，以及这与训练效率有何关系？
• RQ4 在如 VQE、单位元 编译和自编码等不同任务中，所预测的 Mc 相变能否观察到？
• RQ5 结果是否扩展到更广泛的量子算法，如量子最优控制？

主要发现

• 对每个训练状态，QFIM 秩上界为 dim( gS )，从而设定 Mc ≳ dim( gS )。
• 过参数化导致虚假局部极小值消失，并伴随可训练性提升的计算相变。
• 在过参数化时，模型容量 D1 和 D2 被 dim( gS ) 限制，且在至少某一个景观点达到饱和。
• 在最优解处的 Hessian 秩由 min{ dim( gS ), 2dr − r^2 − r } 界限，限制解上的有效曲率方向。
• 数值实验（VQE、单位元编译、自编码）在 near M ≈ dim( gS ) 附近显示相变的起始，QFIM/Hessian 的秩与理论一致。
• 结果也适用于量子最优控制和变分量子算法。