[论文解读] Quixer: A Quantum Transformer Model

Nikhil Khatri, Gabriel Matos+2 more|arXiv (Cornell University)|Jun 6, 2024

Quantum Computing Algorithms and Architecture被引用 4

一句话总结

Quixer 提出了一种新颖的量子变换器模型，利用线性酉算符组合（LCU）和量子奇异值变换（QSVT）构建可训练的非线性注意力机制。该模型在经典模拟下于 Penn Treebank 数据集上实现了具有竞争力的语言建模性能，标志着量子变换器首次应用于实际的自然语言处理任务。

ABSTRACT

Progress in the realisation of reliable large-scale quantum computers has motivated research into the design of quantum machine learning models. We present Quixer: a novel quantum transformer model which utilises the Linear Combination of Unitaries and Quantum Singular Value Transform primitives as building blocks. Quixer operates by preparing a superposition of tokens and applying a trainable non-linear transformation to this mix. We present the first results for a quantum transformer model applied to a practical language modelling task, obtaining results competitive with an equivalent classical baseline. In addition, we include resource estimates for evaluating the model on quantum hardware, and provide an open-source implementation for classical simulation. We conclude by highlighting the generality of Quixer, showing that its parameterised components can be substituted with fixed structures to yield new classes of quantum transformers.

研究动机与目标

• 设计一种利用量子算法原语实现高效标记混合的量子变换器架构。
• 证明将量子模型应用于真实世界语言建模任务（如 Penn Treebank 数据集）的可行性。
• 提供资源估算，并提供该模型的经典模拟开源实现。
• 通过展示其可参数化组件可被固定结构替代，建立 Quixer 作为灵活框架，以生成新的量子变换器类别。

提出的方法

• 该模型使用线性酉算符组合（LCU）过程准备标记酉算符的叠加，将输入标记编码为量子振幅。
• 通过在相位旋转中编码可训练的多项式函数，对这一叠加应用量子奇异值变换（QSVT），实现非线性变换。
• 将标记嵌入映射为参数化量子电路（PQC）的参数角，随后通过 LCU 和 QSVT 过程进行酉变换。
• 使用多个可观测量对最终量子态进行测量，将得到的期望值在经典计算中处理，生成模型输出。
• 通过重复使用不同数据编码的 QSVT 和 LCU 电路，该模型架构支持多层扩展。
• 该框架允许将可训练组件（如多项式系数或酉结构）替换为固定结构，以生成新的量子变换器变体。

实验结果

研究问题

• RQ1 基于 LCU 和 QSVT 原语的量子变换器模型是否能在标准语言建模基准上实现具有竞争力的性能？
• RQ2 在经典模拟设置下，Quixer 在 Penn Treebank 数据集上的性能与经典变换器基线相比如何？
• RQ3 在近期量子硬件上评估 Quixer 的资源需求和成功概率是多少？
• RQ4 能否通过将可训练组件替换为固定结构，将 Quixer 普遍化为一个灵活框架，从而生成新的量子变换器类别？
• RQ5 在量子变换器模型中，模型表达能力、梯度大小与经典可模拟性之间存在何种权衡？

主要发现

• 在经典模拟中训练和评估时，Quixer 在 Penn Treebank 数据集上的语言建模性能与经典变换器基线具有竞争力。
• 该模型首次成功将量子变换器应用于实际语言建模任务，为量子自然语言处理建立了概念验证。
• 资源估算表明，模型的成功概率随系统规模增长而提升，已对 10 个随机种子分析了后选择的成功概率，报告了平均值和极值。
• 该模型架构具有高度可扩展性：通过固定多项式系数或酉结构，Quixer 可被调整以生成新的量子变换器变体，例如通过特定选择可恢复量子玻尔兹曼机。
• 通过重复使用不同数据编码的 QSVT 和 LCU 电路，该框架支持多层扩展，可实现更深的架构。
• 尽管结果令人鼓舞，该模型仍面临梯度消失和参数量过高的挑战，可能阻碍其在近期设备上的可扩展性。