[论文解读] Reservoir Computing via Quantum Recurrent Neural Networks

Samuel Yen-Chi Chen, Daniel Fry+3 more|arXiv (Cornell University)|Nov 4, 2022

Neural Networks and Reservoir Computing被引用 6

一句话总结

该论文提出了一种基于随机初始化的量子循环神经网络（QRNN、QGRU、QLSTM）作为动力学储藏器的量子储藏计算框架，其中仅训练最终的经典线性层。数值模拟表明，该方法在显著减少训练时间和量子线路评估次数的同时，实现了与全连接训练QRNN模型相当的性能，展示了在近期量子硬件上更快的收敛速度和更高的硬件效率。

ABSTRACT

Recent developments in quantum computing and machine learning have propelled the interdisciplinary study of quantum machine learning. Sequential modeling is an important task with high scientific and commercial value. Existing VQC or QNN-based methods require significant computational resources to perform the gradient-based optimization of a larger number of quantum circuit parameters. The major drawback is that such quantum gradient calculation requires a large amount of circuit evaluation, posing challenges in current near-term quantum hardware and simulation software. In this work, we approach sequential modeling by applying a reservoir computing (RC) framework to quantum recurrent neural networks (QRNN-RC) that are based on classical RNN, LSTM and GRU. The main idea to this RC approach is that the QRNN with randomly initialized weights is treated as a dynamical system and only the final classical linear layer is trained. Our numerical simulations show that the QRNN-RC can reach results comparable to fully trained QRNN models for several function approximation and time series prediction tasks. Since the QRNN training complexity is significantly reduced, the proposed model trains notably faster. In this work we also compare to corresponding classical RNN-based RC implementations and show that the quantum version learns faster by requiring fewer training epochs in most cases. Our results demonstrate a new possibility to utilize quantum neural network for sequential modeling with greater quantum hardware efficiency, an important design consideration for noisy intermediate-scale quantum (NISQ) computers.

研究动机与目标

• 为解决变分量子线路在序列建模任务中计算成本高、训练缓慢的问题。
• 通过最小化训练过程中的量子线路评估次数，提升量子硬件效率。
• 探究量子储藏计算（QRNN-RC）是否能在学习速度和准确率上达到或超越基于经典RNN的储藏计算。
• 在噪声量子模拟环境下，评估QRNN-RC在函数逼近和时间序列预测任务中的性能。
• 证明在量子储藏框架中仅训练最终线性层可显著降低资源需求，同时保持具有竞争力的性能。

提出的方法

• 量子储藏器采用随机初始化的QRNN、QGRU和QLSTM架构实现，作为固定的动力学系统。
• 仅通过标准优化方法训练最终的古典线性层，而量子线路参数在初始化后保持固定。
• 储藏器通过量子门处理序列输入，生成高维状态表征。
• 量子储藏器的输出送入一个经典线性层，该层使用均方误差（MSE）损失进行训练。
• 在噪声量子模拟环境下，对函数逼近（NARMA5、NARMA10）和时间序列预测任务进行框架评估。
• 通过收敛速度和达到目标性能所需的训练轮数来衡量训练效率。

实验结果

研究问题

• RQ1 使用未训练量子RNN的量子储藏计算框架是否能达到与全连接训练QRNN模型相当的性能？
• RQ2 QRNN-RC是否比全优化QRNN需要更少的量子线路评估次数和更少的训练轮数？
• RQ3 在收敛速度和准确率方面，QRNN-RC与基于经典RNN的储藏计算相比如何？
• RQ4 RC方法是否能降低对噪声的敏感性，并在含噪声的含噪声中间尺度量子（NISQ）环境中提升稳定性？
• RQ5 QRNN-RC是否能在序列任务的学习速度和预测准确率上超越经典方法？

主要发现

• QRNN-RC在NARMA5和NARMA10函数逼近任务上实现了与全连接训练QRNN模型相当的预测性能。
• QRNN-RC框架所需的训练轮数显著少于全优化QRNN，其中QGRU-RC在15轮后即达到QGRU性能。
• 在NARMA5和NARMA10任务上，QLSTM-RC在30轮后表现优于全优化QLSTM，表明其收敛速度更快。
• 在噪声模拟下，QRNN-RC表现出更平滑的预测曲线和更少噪声的损失曲线，表明其对NISQ噪声具有更强的鲁棒性。
• 在大多数情况下，量子RC方法所需的训练轮数少于基于经典RNN的RC，证明了其更快的学习能力。
• 该方法通过消除对量子参数的梯度计算，显著降低了量子资源需求，提升了NISQ设备的硬件效率。