[论文解读] Quantum Self-Attention Neural Networks for Text Classification

Guangxi Li, Xuanqiang Zhao+1 more|arXiv (Cornell University)|May 11, 2022

Quantum Computing Algorithms and Architecture被引用 13

一句话总结

该论文提出量子自注意力神经网络（QSANN），一种新颖的量子神经网络架构，通过高斯投影量子自注意力机制将自注意力机制与参数化量子电路相结合。QSANN在经典自注意力网络和现有基于句法的量子自然语言处理模型中均展现出更优的文本分类性能，证明了其在近期量子设备上的可扩展性与抗噪声能力。

ABSTRACT

An emerging direction of quantum computing is to establish meaningful quantum applications in various fields of artificial intelligence, including natural language processing (NLP). Although some efforts based on syntactic analysis have opened the door to research in Quantum NLP (QNLP), limitations such as heavy syntactic preprocessing and syntax-dependent network architecture make them impracticable on larger and real-world data sets. In this paper, we propose a new simple network architecture, called the quantum self-attention neural network (QSANN), which can compensate for these limitations. Specifically, we introduce the self-attention mechanism into quantum neural networks and then utilize a Gaussian projected quantum self-attention serving as a sensible quantum version of self-attention. As a result, QSANN is effective and scalable on larger data sets and has the desirable property of being implementable on near-term quantum devices. In particular, our QSANN outperforms the best existing QNLP model based on syntactic analysis as well as a simple classical self-attention neural network in numerical experiments of text classification tasks on public data sets. We further show that our method exhibits robustness to low-level quantum noises and showcases resilience to quantum neural network architectures.

研究动机与目标

• 解决现有量子自然语言处理（QNLP）模型严重依赖句法预处理且难以扩展至大规模数据集的局限性。
• 开发一种灵活、可扩展且可在近期含噪声中等规模量子（NISQ）设备上实现的量子神经网络架构。
• 探索自注意力机制在量子神经网络中的潜力，以捕捉文本分类中复杂的词相关性。
• 评估所提模型在真实量子噪声和不同量子电路架构下的鲁棒性。
• 通过一种实用且可实现量子线路的模型，展示在自然语言处理任务中实现量子优势的潜力。

提出的方法

• 通过振幅编码将输入文本序列编码为高维量子态。
• 采用按自注意力机制结构化的参数化量子电路（PQCs），通过量子门执行查询、键和值的变换。
• 通过高斯投影测量计算量子态重叠，实现高斯投影量子自注意力（GPQSA）层的注意力得分。
• 采用浅层量子电路与泡利-Z测量，确保与当前NISQ硬件的兼容性。
• 设计四种不同的量子线路（Ansatz-0至Ansatz-3），采用不同纠缠模式以评估电路架构的鲁棒性。
• 通过退相干通道模拟噪声，误差率设为 $ p = 0.1 $，以测试在真实硬件约束下的抗噪能力。

实验结果

研究问题

• RQ1 基于自注意力的量子神经网络是否能在文本分类任务中超越现有依赖句法的QNLP模型？
• RQ2 与经典自注意力神经网络相比，所提出的QSANN模型在公开文本分类基准上的表现如何？
• RQ3 QSANN在多大程度上对量子电路架构（线路设计）和量子噪声具有鲁棒性？
• RQ4 高斯投影量子自注意力机制是否能有效捕捉文本中的长距离依赖关系和相关词相关性？
• RQ5 QSANN架构是否在近期量子设备上可行且可扩展，即使受限于有限的量子比特数和噪声？

主要发现

• QSANN在MC数据集和RP数据集上分别取得67.74% ± 0.00%的测试准确率（使用Ansatz-0和Ansatz-3），优于最佳现有QNLP模型和经典自注意力网络。
• 该模型在所有四种线路类型中均保持一致性能，测试准确率在67.03%至67.74%之间，表明对电路架构变化具有高度鲁棒性。
• 即使在 $ p = 0.1 $ 的退相干噪声通道下，QSANN仍保持稳定性能，证明其对低水平量子噪声具有强鲁棒性。
• 注意力系数的可视化结果表明，模型能有效聚焦于输入序列中最相关的词语，验证了注意力机制的可解释性。
• QSANN在所有线路类型下均在MC和RP数据集上实现100%的训练准确率，表明其具有强大的模型容量和有效的优化能力。
• 通过采用浅层电路与泡利-Z测量，该模型可直接在当前NISQ设备上实现，使其在近期量子硬件上具有实际可行性。