[论文解读] Semantic Word Clusters Using Signed Normalized Graph Cuts

João Sedoc, Jean Gallier+2 more|arXiv (Cornell University)|Jan 20, 2016

Topic Modeling参考文献 25被引用 7

一句话总结

本文提出了一种新颖的有符号谱归一化图割算法，将同义词典中的反义关系整合到分布语义词嵌入中，从而实现语义一致的同义词聚类。通过为反义词建模负权重并利用现有的向量表示，该方法在 SimLex-999 和情感预测任务上显著提升了聚类准确率，优于纯嵌入方法和基于同义词典的基线模型。

ABSTRACT

Vector space representations of words capture many aspects of word similarity, but such methods tend to make vector spaces in which antonyms (as well as synonyms) are close to each other. We present a new signed spectral normalized graph cut algorithm, signed clustering, that overlays existing thesauri upon distributionally derived vector representations of words, so that antonym relationships between word pairs are represented by negative weights. Our signed clustering algorithm produces clusters of words which simultaneously capture distributional and synonym relations. We evaluate these clusters against the SimLex-999 dataset (Hill et al.,2014) of human judgments of word pair similarities, and also show the benefit of using our clusters to predict the sentiment of a given text.

研究动机与目标

• 为解决分布语义词嵌入在捕捉反义关系方面的局限性，即语义相反的词（如 'great' 和 'awful'）在向量空间中被错误地拉近。
• 开发一种结合分布相似性与来自同义词典的显式语义关系（尤其是反义关系）的方法，以形成更准确且具有语言学意义的词聚类。
• 构建一个与具体词嵌入模型无关的通用聚类框架，可适用于不同的向量空间表示。
• 在语义相似性基准和下游 NLP 任务（如情感分析）上评估所提聚类方法的有效性。

提出的方法

• 通过在外部同义词典中引入负边权重来表示反义关系，将多类归一化割方法扩展至有符号图。
• 构建一个有符号图，其中节点为词语，正边表示分布相似性（来自词嵌入），负边表示反义关系（来自同义词典）。
• 通过求解广义特征值问题来划分图，使归一化割最小化，同时尊重正负关系。
• 该解法基于有符号归一化割的理论框架，扩展了先前关于归一化割和谱聚类的研究。
• 通过将同义词典导出的反义关系作为负权重叠加到词嵌入（如 Word2Vec、GloVe）上，应用该方法，从而保留原始向量空间结构。
• 通过与人工标注的相似性判断的精确匹配以及情感分类性能来评估聚类效果。

实验结果

研究问题

• RQ1 将同义词典中的反义关系整合到词嵌入中，是否能相比标准聚类方法提升语义词聚类的质量？
• RQ2 有符号聚类在语义相似性基准上的性能与纯词嵌入聚类和同义词典查找相比如何？
• RQ3 与基线模型相比，有符号聚类方法在情感分类准确率上的提升程度如何？
• RQ4 所提方法是否能泛化到不同词嵌入模型上，并在无需微调的情况下保持有效性？

主要发现

• 当结合 Word2Vec 与综合同义词典查找时，有符号聚类方法在 SimLex-999 基准上达到了 0.96 的准确率，显著优于单一方法。
• 在情感分析中，该方法优于最先进模型（如 CNN，准确率为 0.881），使用 Word2Vec 嵌入时达到 0.836 的准确率，甚至超过 RNN 和 RNTN 模型。
• 该方法在基线聚类方法上表现更优：Word2Vec 单独使用时准确率为 0.36，而有符号聚类方法在情感预测任务上达到 0.836 的准确率。
• 与仅使用同义词典的方法相比，该方法在覆盖度和准确率上均表现更优（准确率为 0.90），且优于 Eigenwords 和基于 GloVe 的方法。
• 通过有符号聚类将同义词典与词嵌入结合，相较于标准谱聚类，在 SimLex-999 上使聚类准确率提升了 20%。
• 该方法在不同嵌入类型上表现出鲁棒性，应用于 Word2Vec、GloVe 和 Eigenwords 时均保持一致的性能提升。