[论文解读] Quantum Language Processing

Nathan Wiebe, Alex Bocharov+3 more|arXiv (Cornell University)|Feb 13, 2019

Quantum Computing Algorithms and Architecture参考文献 39被引用 21

一句话总结

本文提出了一种语言结构的福克空间表示，通过量子玻尔兹曼机实现量子语言处理。它将语言语法形式化为可在量子计算机上求解的和谐性优化问题，证明了量子语言处理是BQP-完全的，并展示了针对量子玻尔兹曼机的一种新颖且精确的训练方法，其样本复杂度为反多项式。

ABSTRACT

We present a representation for linguistic structure that we call a Fock-space representation, which allows us to embed problems in language processing into small quantum devices. We further develop a formalism for understanding both classical as well as quantum linguistic problems and phrase them both as a Harmony optimization problem that can be solved on a quantum computer which we show is related to classifying vectors using quantum Boltzmann machines. We further provide a new training method for learning quantum Harmony operators that describe a language. This also provides a new algorithm for training quantum Boltzmann machines that requires no approximations and works in the presence of hidden units. We additionally show that quantum language processing is BQP-complete, meaning that it is polynomially equivalent to the circuit model of quantum computing which implies that quantum language models are richer than classical models unless BPP=BQP. It also implies that, under certain circumstances, quantum Boltzmann machines are more expressive than classical Boltzmann machines. Finally, we examine the performance of our approach numerically for the case of classical harmonic grammars and find that the method is capable of rapidly parsing even non-trivial grammars. This suggests that the work may have value as a quantum inspired algorithm beyond its initial motivation as a new quantum algorithm.

研究动机与目标

• 开发一种适用于量子计算的语言结构的量子兼容表示。
• 在量子框架内将语言处理形式化为和谐性优化问题。
• 提供一种新的、精确的量子玻尔兹曼机训练算法，可处理隐藏单元而无需近似。
• 确立量子语言处理的计算复杂度，并探讨其相对于经典模型的潜在指数级优势。
• 评估量子启发的经典算法在解析复杂语法方面的可行性。

提出的方法

• 提出福克空间表示，通过符号-位置对的叠加态将解析树嵌入量子态。
• 使用张量积表示（TPR）并引入位置角色，通过 |ψ⟩ = Σᵢ |sᵢ⟩ ⊗ |nᵢ⟩ 将二元解析树编码为量子态。
• 将语言语法规则映射为量子哈密顿量，使得合乎语法的句子最大化和谐性，和谐性定义为哈密顿量期望值的负值。
• 应用量子玻尔兹曼机来建模语言，其中能量函数对应于语言结构的和谐性。
• 开发一种基于梯度的量子玻尔兹曼机训练方法，通过每次梯度评估仅需 O(log k) 次重复来确保成功概率，实现精确梯度计算。
• 采用一种量子启发的经典优化协议，在最坏情况梯度偏差下实现反多项式样本复杂度 Õ(D²/δ²)。

实验结果

研究问题

• RQ1 能否使用福克空间表示，以高效方式将语言结构编码为可被量子计算的形式？
• RQ2 量子语言处理是否为BQP-完全的，意味着其相对于经典模型可能存在指数级加速？
• RQ3 即使存在隐藏单元，能否对量子玻尔兹曼机进行精确训练而无需近似？
• RQ4 所提出的训练方法在目标精度和模型复杂度方面的扩展性如何？
• RQ5 该量子启发的经典算法是否能在经典硬件上高效解析复杂语法？

主要发现

• 证明了量子语言处理是BQP-完全的，表明其与量子线路模型多项式等价，除非BPP = BQP，否则可能比经典模型指数级更强大。
• 所提出的量子玻尔兹曼机训练算法需要 Õ(D²/δ²) 个样本，其中 δ 的尺度为 O(ϵ¹⁺ᶜ/‖ω*−ω₀‖ᶜ)，对目标误差 ϵ 表现出反多项式依赖，显示出良好的样本效率。
• 该方法在存在隐藏单元的情况下，仍能实现对量子玻尔兹曼机的精确梯度计算，且每次梯度评估仅需 O(log k) 次重复。
• 数值模拟表明，量子启发的经典优化方法能够快速解析非平凡的形式语法，表明其在实际应用中具有超越纯量子计算的潜力。
• 福克空间表示可在少量量子比特内紧凑编码语言结构，为张量积表示提供了一种可扩展的替代方案。
• 该框架揭示了量子语言处理与量子纠错码之间存在深刻联系，暗示二者具有共享的结构原理。