[论文解读] Toward Quantum Machine Translation of Syntactically Distinct Languages

Mina Abbaszade, Mariam Zomorodi‐Moghadam+2 more|arXiv (Cornell University)|Jul 31, 2023

Quantum Computing Algorithms and ArchitectureComputer Science被引用 3

一句话总结

本研究通过将参数化量子线路与基于长短期记忆网络（LSTM）的编码器-解码器模型相结合，探索了在噪声中等规模量子（NISQ）设备上实现量子机器翻译的可行性。结果表明，通过香农熵优化的旋转门角度可作为英语与波斯语量子线路之间的有效通信通道，在160个样本的数据集上，使用Adam优化器时，平均绝对误差（MAE）为0.03，损失值为0.016。

ABSTRACT

The present study aims to explore the feasibility of language translation using quantum natural language processing algorithms on noisy intermediate-scale quantum (NISQ) devices. Classical methods in natural language processing (NLP) struggle with handling large-scale computations required for complex language tasks, but quantum NLP on NISQ devices holds promise in harnessing quantum parallelism and entanglement to efficiently process and analyze vast amounts of linguistic data, potentially revolutionizing NLP applications. Our research endeavors to pave the way for quantum neural machine translation, which could potentially offer advantages over classical methods in the future. We employ Shannon entropy to demonstrate the significant role of some appropriate angles of rotation gates in the performance of parametrized quantum circuits. In particular, we utilize these angles (parameters) as a means of communication between quantum circuits of different languages. To achieve our objective, we adopt the encoder-decoder model of classical neural networks and implement the translation task using long short-term memory (LSTM). Our experiments involved 160 samples comprising English sentences and their Persian translations. We trained the models with different optimisers implementing stochastic gradient descent (SGD) as primary and subsequently incorporating two additional optimizers in conjunction with SGD. Notably, we achieved optimal results-with mean absolute error of 0.03, mean squared error of 0.002, and 0.016 loss-by training the best model, consisting of two LSTM layers and using the Adam optimiser. Our small dataset, though consisting of simple synonymous sentences with word-to-word mappings, points to the utility of Shannon entropy as a figure of merit in more complex machine translation models for intricate sentence structures.

研究动机与目标

• 探究在NISQ设备上实现量子自然语言处理（QNLP）用于机器翻译的可行性。
• 通过探索量子并行性与量子纠缠，解决经典NLP在处理大规模语言数据时的计算局限性。
• 建立一个量子-经典接口，使旋转门参数作为语言特异性量子线路之间的语义载体。
• 利用经典优化器和标准NLP指标，在一个小而具代表性的数据集上评估量子增强翻译模型的性能。
• 证明香农熵作为调优量子线路参数在翻译任务中性能指标的实用性。

提出的方法

• 采用基于长短期记忆（LSTM）网络的混合量子-经典编码器-解码器架构，用于序列到序列的翻译任务。
• 利用DisCoCat模型和ZX演算将英语与波斯语的句子对映射为参数化量子线路（PQCs）。
• 使用旋转门角度作为可训练参数，以编码语言意义，并实现量子线路之间的跨语言通信。
• 应用香农熵量化并优化量子线路输出的信息含量，指导参数调优。
• 在1000个训练周期内使用随机梯度下降（SGD）、Adam和RMSprop优化器进行训练，观察到约200个周期后出现早期收敛。
• 采用平均绝对误差（MAE）、均方误差（MSE）和损失值评估性能，结果按不同优化器和模型配置分别报告。

实验结果

研究问题

• RQ1 在NISQ设备上，参数化量子线路能否在极少经典数据支持下有效建模跨语言句子翻译？
• RQ2 量子线路中的旋转门角度在机器翻译任务中对性能有何影响？
• RQ3 香农熵在多大程度上可作为优化NLP应用中量子线路参数的可靠度量标准？
• RQ4 不同优化器（SGD、Adam、RMSprop）在训练量子增强LSTM模型用于翻译任务时的性能表现如何比较？
• RQ5 在量子比特数量有限（如8–12比特）的情况下，量子线路能否编码并处理与经典词嵌入相当的有意义语言相关性？

主要发现

• 性能最佳的模型采用两层LSTM结构并使用Adam优化器，实现了0.03的平均绝对误差（MAE）、0.002的均方误差（MSE）以及0.016的损失值。
• 使用Adam优化器时，验证损失在约200个训练周期后收敛，表明训练动力学高效。
• Adam优化器优于SGD和RMSprop，其损失值（0.01574）和MAE（0.0324）在所有测试优化器中最低。
• 香农熵被证实是评估和调优量子线路参数的宝贵度量，尤其在与旋转门角度相关时。
• 本研究表明，8–12量子比特的量子线路可表示高维向量空间（如256–4096维），暗示其在紧凑语义编码方面的潜力。
• 结果表明，量子增强模型可在小规模、句法简单的数据集上实现低误差率，为未来扩展至复杂句法结构奠定了基础。