[论文解读] Towards logical negation for compositional distributional semantics

Martha Lewis|arXiv (Cornell University)|May 11, 2020

Natural Language Processing Techniques参考文献 37被引用 14

一句话总结

本文在 DisCoCat 框架中，基于 CPM(FVect) 范疇，引入了一种组合分布语义的逻辑否定算子，通过将词向量投影到其正交子空间来建模否定。该方法在句子蕴含任务中表现更优，尤其在使用 kBA 相似度度量和 300 维 GloVe 向量时，优于多种句子类型（包括否定主语和动词）的非组合基线模型。

ABSTRACT

The categorical compositional distributional model of meaning gives the composition of words into phrases and sentences pride of place. However, it has so far lacked a model of logical negation. This paper gives some steps towards providing this operator, modelling it as a version of projection onto the subspace orthogonal to a word. We give a small demonstration of the operators performance in a sentence entailment task.

研究动机与目标

• 为组合分布语义（DisCoCat）中的逻辑否定缺乏正式模型提供解决方案。
• 开发一种与范畴组合框架及 CPM(FVect) 中线性代数结构兼容的否定算子。
• 使用基于语料的词向量表示，在句子蕴含任务中评估该算子的性能。
• 探讨在量子启发的语义模型中，将否定建模为正交投影的理论与实际可行性。

提出的方法

• 将否定建模为将词向量线性映射到其原始向量正交子空间的线性映射，灵感来自 Widdows 和 Peters (2003)。
• 使用 CPM(FVect) 范疇，将名词和句子表示为正算子，功能词表示为完全正映射。
• 采用 Mult、BMult 和 KMult 等组合算子，以组合方式结合词义。
• 应用 kBA 和 kE 相似度度量，评估含否定与不含否定的句子之间的蕴含关系。
• 使用在基于语料的数据集上训练的 50 维和 300 维 GloVe 向量作为词表示。
• 在小规模蕴含数据集上评估性能，将组合模型与非组合基线进行比较。

实验结果

研究问题

• RQ1 如何在使用范畴论与线性代数的 DisCoCat 框架中，正式建模逻辑否定？
• RQ2 将词向量投影到其正交子空间是否能在组合语义组合中产生语义上合理的否定？
• RQ3 不同组合算子（Mult、BMult、KMult）与所提出的否定算子在句子蕴含任务中的交互作用如何？
• RQ4 在检测否定句子对蕴含关系时，相似度度量（kBA 与 kE）的相对性能如何？
• RQ5 该否定算子能否整合进更广泛的语义框架（如 CPM(FVect) 或 ConvexRel）中，以实现理论一致性？

主要发现

• kBA 相似度度量在所有句子类型中显著优于 kE，尤其在平衡数据集上，因其对称性优势明显。
• Mult 算子在 'not noun - not verb' 句子类型上达到最高的 AUC 值 0.925，表明其在双重否定任务中表现优异。
• 使用 300 维 GloVe 向量与 kBA 度量，模型在 'not noun - verb' 类型上 AUC 达 0.875，在 'noun - not verb' 类型上达 0.802，显示出更强的鲁棒性。
• 组合模型（Mult）在所有句子类型上显著优于仅使用名词的非组合基线，证明了组合机制的价值。
• 低维向量（50D）在 'not noun - verb' 和 'noun - not verb' 类型上与 kE 度量结合时表现更优，表明维度与相似度度量选择之间存在交互作用。
• KMult 算子与 kBA 度量结合，在 'not noun - verb' 类型上达到 0.875 AUC，在 'noun - not verb' 类型上达到 0.802 AUC，表明其在不同否定位置上均具有良好的泛化能力。