[论文解读] Quantum-inspired Complex Word Embedding

Qiuchi Li, Sagar Uprety+2 more|arXiv (Cornell University)|May 29, 2018

Topic Modeling参考文献 18被引用 6

一句话总结

本文提出了一种基于希尔伯特空间表示的量子启发复数词嵌入方法，采用复值词向量来建模词组合中的涌现语义。通过将词组合视为带有复相位的词态叠加或混合，该方法捕捉了非经典的词间相互作用——例如语义对立关系（如“企鹅”与“飞”）——并在五个二元句子分类基准上实现了最先进性能，其中混合模型（CE-Mix）优于现有的非量子方法。

ABSTRACT

A challenging task for word embeddings is to capture the emergent meaning or polarity of a combination of individual words. For example, existing approaches in word embeddings will assign high probabilities to the words "Penguin" and "Fly" if they frequently co-occur, but it fails to capture the fact that they occur in an opposite sense - Penguins do not fly. We hypothesize that humans do not associate a single polarity or sentiment to each word. The word contributes to the overall polarity of a combination of words depending upon which other words it is combined with. This is analogous to the behavior of microscopic particles which exist in all possible states at the same time and interfere with each other to give rise to new states depending upon their relative phases. We make use of the Hilbert Space representation of such particles in Quantum Mechanics where we subscribe a relative phase to each word, which is a complex number, and investigate two such quantum inspired models to derive the meaning of a combination of words. The proposed models achieve better performances than state-of-the-art non-quantum models on the binary sentence classification task.

研究动机与目标

• 解决捕捉词组合中涌现或极性语义的挑战，例如语义对立（如“企鹅”与“飞”）。
• 克服传统词嵌入依赖实值向量、无法建模干涉或相位依赖语义的局限性。
• 探索在词表示中使用复数，以更好地反映自然语言中的类量子干涉效应。
• 研究量子启发模型结合复数嵌入是否能提升句子级语义分类性能，相较于非量子基线模型。
• 评估两种不同的量子启发模型——叠加与混合——在有效表征句子语义方面的能力。

提出的方法

• 将每个词表示为希尔伯特空间中的复值向量，其中振幅编码共现统计信息，复相位编码语境极性或干涉效应。
• 将词组合建模为单个词态的叠加（CE-Sup）或词投影算符的经典混合（CE-Mix），两者均使用复值表示。
• 利用复数词向量的内积计算相似性，并通过相位差推断句子级语义，借助相位差异实现量子干涉效应。
• 使用Keras和TensorFlow中的神经网络框架，采用交叉熵损失进行二元句子分类训练。
• 在整个网络中应用复数运算，包括复数激活函数和反向传播，以保留相位信息。
• 借助QWeb（量子网络）的理论框架，将词组合解释为具有相位依赖干涉的态叠加，实现非经典的语义建模。

实验结果

研究问题

• RQ1 所提出的量子启发复数嵌入模型是否在句子分类任务中优于最先进非量子方法？
• RQ2 混合模型（CE-Mix）是否比叠加模型（CE-Sup）在捕捉组合词义方面更有效？
• RQ3 结合相位信息的复数词表示是否能在语义分类任务中超越实数嵌入？
• RQ4 使用量子启发的希尔伯特空间表示是否能更好地建模语义对立与涌现语义？
• RQ5 与word2vec、fastText和实数嵌入等强基线相比，性能提升是否具有统计显著性？

主要发现

• CE-Mix模型在五个基准数据集中的四个上达到最高准确率，分别为：CR数据集81.1%，MPQA数据集86.6%，MR数据集79.8%，SST数据集83.3%，SUBJ数据集92.8%。
• CE-Mix模型显著优于Unigram-TFIDF基线（所有数据集p < 0.05），证明其统计优越性。
• CE-Mix模型在除MPQA外的所有数据集上均优于word2vec、fastText和DictRep基线，p值均小于0.05，确认了性能的一致性提升。
• CE-Sup模型表现与非量子模型相当，但被CE-Mix超越，且在所有数据集上无统计显著差异（p > 0.05）。
• 实数嵌入基线（Real-Embed）在所有数据集上均被两个复数模型超越（p < 0.05），证实复数表示的优势。
• 结果表明，将句子建模为词投影算符的经典混合（CE-Mix）比潜概念的叠加（CE-Sup）更有效，表明其与真实世界语义依赖关系更吻合。