[论文解读] Quantum neural networks form Gaussian processes

Diego García-Martín, Martín Larocca+1 more|arXiv (Cornell University)|May 17, 2023

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文证明了在希尔伯特空间维度 $d$ 趋于无穷的极限下，使用哈尓随机酉或正交门的深层量子神经网络（QNNs）会收敛到高斯过程（GPs），将经典神经网络与高斯过程之间的对应关系扩展到了量子领域。与经典网络不同，由于强集中测度效应，所得的高斯过程在贝叶斯预测中效率低下，其期望值和梯度的集中程度为 $\mathcal{O}(1/(e^d\sqrt{d}))$，且结果可推广至 $t$-设计。

ABSTRACT

It is well known that artificial neural networks initialized from independent and identically distributed priors converge to Gaussian processes in the limit of a large number of neurons per hidden layer. In this work we prove an analogous result for Quantum Neural Networks (QNNs). Namely, we show that the outputs of certain models based on Haar random unitary or orthogonal deep QNNs converge to Gaussian processes in the limit of large Hilbert space dimension $d$. The derivation of this result is more nuanced than in the classical case due to the role played by the input states, the measurement observable, and the fact that the entries of unitary matrices are not independent. Then, we show that the efficiency of predicting measurements at the output of a QNN using Gaussian process regression depends on the observable's bodyness. Furthermore, our theorems imply that the concentration of measure phenomenon in Haar random QNNs is worse than previously thought, as we prove that expectation values and gradients concentrate as $\mathcal{O}\left(\frac{1}{e^d \sqrt{d}} ight)$. Finally, we discuss how our results improve our understanding of concentration in $t$-designs.

研究动机与目标

• 建立经典神经网络-高斯过程对应关系在量子领域的严格类比。
• 分析在哈尓随机酉或正交电路下，QNN 输出收敛到高斯过程的机制。
• 研究该收敛性对 QNN 中贝叶斯推断与预测效率的影响。
• 表征随机量子电路中测度集中现象，特别是对期望值和梯度的影响。
• 将结果推广至 $t$-设计，因其比完整哈尓随机性更具物理现实性。

提出的方法

• 通过证明所有矩收敛到高斯过程的矩，来证明使用哈尓随机酉或正交门的深层 QNN 输出分布收敛到多元正态分布。
• 采用矩方法，利用哈尓分布矩阵的酉不变性与正交性约束。
• 应用参数移位规则计算梯度，并通过尾部概率界分析其集中性。
• 使用并集界与互补误差函数估计，推导出期望值和梯度的集中界。
• 利用 $t$-设计与哈尓测度前 $t$ 阶矩一致的性质，将结果推广至随机性较低、更实用的 QNN。
• 基于 $t$ 阶矩，利用广义切比雪夫不等式推导输出与梯度的尾部概率界。

实验结果

研究问题

• RQ1 在希尔伯特空间维度 $d$ 趋于无穷的极限下，使用哈尓随机酉或正交门的深层 QNN 是否收敛到高斯过程？
• RQ2 所得的高斯过程能否在 QNN 的贝叶斯推断中高效使用？
• RQ3 在大 $d$ 极限下，QNN 输出与梯度的集中速度有多快？与先前估计相比如何？
• RQ4 $t$-设计在多大程度上继承了完整哈尓随机电路的 GP 收敛性与集中性特征？
• RQ5 输入态重叠与测量可观测量在高斯过程极限出现过程中起什么作用？

主要发现

• 当希尔伯特空间维度 $d$ 趋于无穷时，使用哈尓随机酉或正交门的深层 QNN 输出分布收敛到高斯过程，因为其所有矩均收敛到多元正态分布的矩。
• 所得的高斯过程在贝叶斯预测中效率低下，因为测度集中现象强于先前认知，期望值与梯度的集中程度为 $\mathcal{O}(1/(e^d\sqrt{d}))$。
• 期望值与梯度的集中速率快于早期估计，表明随机量子电路中函数空间的坍塌更为严重。
• 对于 $t$-设计，在与哈尓随机电路相同的条件下，QNN 输出的前 $t$ 阶矩与高斯过程一致，从而可推广至实际 QNN 架构。
• 大输出或梯度的尾部概率衰减为 $\mathcal{O}\left(\frac{(2\lfloor t/2\rfloor)!}{2^{\lfloor t/2\rfloor} d^{\lfloor t/2\rfloor} (\lfloor t/2\rfloor)!}\right)$，该结果基于广义切比雪夫不等式推导得出。
• 当平均输入态重叠 $\mathbb{E}_{\rho_i,\rho_{i'}}[\Tr[\rho_i\rho_{i'}]]$ 为 $\Omega(1/\operatorname{poly}(\log d))$ 或恰好为 $1/d$ 时，收敛结果在平均意义下成立，具体取决于定理。