[论文解读] Topology of Word Embeddings: Singularities Reflect Polysemy

Alexander Jakubowski, Milica Gašić+1 more|arXiv (Cornell University)|Nov 18, 2020

Topological and Geometric Data Analysis参考文献 29被引用 5

一句话总结

本文提出词嵌入位于一种被挤压的流形上——多义词在其中形成拓扑奇点，而非光滑流形。通过持久同调量化拓扑多义性（TPS），作者发现其与词义数量高度相关，并在 SemEval-2010 词义诱导任务中，使用一种简单且基于拓扑的聚类方法取得了具有竞争力的结果。

ABSTRACT

The manifold hypothesis suggests that word vectors live on a submanifold within their ambient vector space. We argue that we should, more accurately, expect them to live on a pinched manifold: a singular quotient of a manifold obtained by identifying some of its points. The identified, singular points correspond to polysemous words, i.e. words with multiple meanings. Our point of view suggests that monosemous and polysemous words can be distinguished based on the topology of their neighbourhoods. We present two kinds of empirical evidence to support this point of view: (1) We introduce a topological measure of polysemy based on persistent homology that correlates well with the actual number of meanings of a word. (2) We propose a simple, topologically motivated solution to the SemEval-2010 task on Word Sense Induction & Disambiguation that produces competitive results.

研究动机与目标

• 通过论证多义性在向量空间中产生拓扑奇点，挑战词嵌入的标准流形假设。
• 基于持久同调，开发一种多义性的拓扑度量（TPS），使其与实际的词义数量高度相关。
• 设计一种简单且基于拓扑的词义诱导与消歧方法，该方法在 SemEval-2010 上表现具有竞争力。
• 证明词向量空间中的拓扑结构反映了语义多义性，为分析和改进词嵌入提供了新视角。

提出的方法

• 将词嵌入空间建模为一种被挤压的流形，其中多义词对应于被标识的（奇异的）点。
• 使用持久同调计算基于局部邻域中每个词向量的 0 维同调的拓扑多义性得分（TPS）。
• 应用 Wasserstein 范数量化持久图，以衡量拓扑复杂性，并将 TPS 作为局部畸变的度量。
• 提出一种基于聚类的词义诱导方法（OPN），利用 TPS 指导邻域大小的选择，从而提升聚类性能。
• 使用 k-means 和 DBSCAN 进行聚类，邻域大小 $ n $ 和聚类数 $ k $ 由 TPS 提供指导，以增强消歧效果。
• 在小规模语料上训练词向量，并在不依赖外部语料数据的前提下，评估 TPS 和聚类性能在 SemEval-2010 任务中的表现。

实验结果

研究问题

• RQ1 词嵌入的拓扑结构是否如其在嵌入空间中产生的奇点所示，反映了多义性？
• RQ2 持久同调能否提供一种可靠且数据驱动的多义性度量，使其与词义数量高度相关？
• RQ3 一种简单且基于拓扑的聚类方法是否能优于或匹配复杂且先进的模型在词义诱导任务中的表现？
• RQ4 在多大程度上，引入拓扑信息能提升词义消歧任务中聚类性能？

主要发现

• 基于持久同调的拓扑多义性得分（TPS）与 SemEval-2010 数据集中标准词义数量具有强相关性。
• 使用 DBSCAN 和 $ n=5000 $ 邻域大小的 OPN 方法，V-measure 与 F-score 的乘积达到 0.0735，优于多个复杂基线模型。
• OPN 在 $ n=5000 $ 且使用 DBSCAN 时，V-measure 为 0.175，F-score 为 0.420，位列 SemEval-2010 挑战赛中表现最佳的方法之列。
• 当邻域大小由 TPS 指导时，聚类方法的性能显著提升，从而减少了对大而任意的邻域大小的依赖。
• 该方法在未访问底层训练语料的情况下，仅依赖词向量的几何结构与拓扑特性，即实现了具有竞争力的结果。
• 本研究提供了实证证据，表明由于多义性引起的奇点，词嵌入空间更适合作为被挤压的流形而非光滑流形来建模。