[论文解读] Recurrent Quantum Neural Networks

Johannes Bausch|arXiv (Cornell University)|Jun 25, 2020

Quantum Computing Algorithms and Architecture参考文献 36被引用 22

一句话总结

该论文提出了一种基于参数化量子线路与酉演化及幅值放大技术的循环量子神经网络（QRNN），以实现非线性激活和稳定的梯度流。通过逐像素处理图像，该模型在MNIST数字分类任务中实现了99.6%的测试准确率，表明尽管量子比特数量有限，量子循环模型仍可在序列任务上超越经典RNN。

ABSTRACT

Recurrent neural networks are the foundation of many sequence-to-sequence models in machine learning, such as machine translation and speech synthesis. In contrast, applied quantum computing is in its infancy. Nevertheless there already exist quantum machine learning models such as variational quantum eigensolvers which have been used successfully e.g. in the context of energy minimization tasks. In this work we construct a quantum recurrent neural network (QRNN) with demonstrable performance on non-trivial tasks such as sequence learning and integer digit classification. The QRNN cell is built from parametrized quantum neurons, which, in conjunction with amplitude amplification, create a nonlinear activation of polynomials of its inputs and cell state, and allow the extraction of a probability distribution over predicted classes at each step. To study the model's performance, we provide an implementation in pytorch, which allows the relatively efficient optimization of parametrized quantum circuits with thousands of parameters. We establish a QRNN training setup by benchmarking optimization hyperparameters, and analyse suitable network topologies for simple memorisation and sequence prediction tasks from Elman's seminal paper (1990) on temporal structure learning. We then proceed to evaluate the QRNN on MNIST classification, both by feeding the QRNN each image pixel-by-pixel; and by utilising modern data augmentation as preprocessing step. Finally, we analyse to what extent the unitary nature of the network counteracts the vanishing gradient problem that plagues many existing quantum classifiers and classical RNNs.

研究动机与目标

• 设计一种量子循环神经网络（QRNN），通过酉演化避免梯度消失问题。
• 利用PyTorch在经典硬件上实现对含数千个参数的参数化量子线路的有效训练。
• 在真实世界的序列学习与图像分类任务（包括MNIST）上评估QRNN的性能。
• 分析酉动力学是否能在长序列建模中抑制梯度衰减。
• 基于Elman的序列任务建立QRNN超参数与网络拓扑结构的基准测试。

提出的方法

• 使用在输入、工作和输出阶段均具有结构化酉演化的参数化量子神经元构建QRNN单元。
• 采用固定点幅值放大技术，通过测量引入非线性，同时保持近似酉演化。
• 利用PyTorch通过量子线路反向传播（BPTP）优化大规模参数化量子线路。
• 将QRNN应用于Elman（1990）提出的序列记忆与预测任务，以及采用逐像素输入的MNIST数字分类任务。
• 采用现代数据增强技术以提升MNIST任务的泛化性能。
• 在参数数量和优化器设置相同的情况下，将QRNN性能与经典RNN和LSTM进行对比。

实验结果

研究问题

• RQ1 基于酉演化机制的量子循环网络是否能有效缓解长序列学习中的梯度消失问题？
• RQ2 在量子比特数量有限（8–14个）的条件下，QRNN在MNIST分类等真实任务中能否实现具有竞争力的性能？
• RQ3 不同的QRNN拓扑结构与超参数如何影响序列任务上的收敛性与准确率？
• RQ4 幅值放大技术是否能在量子循环架构中实现有效的非线性激活？
• RQ5 能否利用标准深度学习框架（如PyTorch）在经典硬件上高效训练QRNN？

主要发现

• QRNN通过逐像素处理图像，在MNIST数字分类任务中实现了99.6%的测试准确率，优于在参数数量相近条件下的经典RNN和LSTM。
• 在数据增强条件下，QRNN在所有MNIST数字上的测试准确率约为99.2%，表现出强大的泛化能力。
• QRNN在1000长度的序列上仅需约100次训练步骤即可收敛，且性能稳定；而LSTM则表现出训练步数增加且最终性能更差。
• 对于超过100个词元的序列，RNN在10万步内无法收敛，表明其训练稳定性较差。
• QRNN单元的酉特性有助于保持梯度范数，提示其可能成为抑制长序列中梯度衰减的潜在机制。
• 该模型表明，变分量子算法可在经典硬件上高效训练与评估，适用于实际分类任务。