[论文解读] WordRank: Learning Word Embeddings via Robust Ranking

Shihao Ji, Hyokun Yun+3 more|arXiv (Cornell University)|Jun 9, 2015

Topic Modeling参考文献 32被引用 4

一句话总结

WordRank 提出了一种新颖的词嵌入框架，将词表示学习建模为鲁棒排序问题，使用类似 DCG 的排序损失，自然地引入注意力机制并增强对噪声的鲁棒性。该方法在词相似度和类比任务上达到最先进性能，尤其在低数据设置下表现优异——仅用 1700 万个词元即可达到在 72 亿词元上训练的模型的性能。

ABSTRACT

Embedding words in a vector space has gained a lot of attention in recent years. While state-of-the-art methods provide efficient computation of word similarities via a low-dimensional matrix embedding, their motivation is often left unclear. In this paper, we argue that word embedding can be naturally viewed as a ranking problem due to the ranking nature of the evaluation metrics. Then, based on this insight, we propose a novel framework WordRank that efficiently estimates word representations via robust ranking, in which the attention mechanism and robustness to noise are readily achieved via the DCG-like ranking losses. The performance of WordRank is measured in word similarity and word analogy benchmarks, and the results are compared to the state-of-the-art word embedding techniques. Our algorithm is very competitive to the state-of-the- arts on large corpora, while outperforms them by a significant margin when the training set is limited (i.e., sparse and noisy). With 17 million tokens, WordRank performs almost as well as existing methods using 7.2 billion tokens on a popular word similarity benchmark. Our multi-node distributed implementation of WordRank is publicly available for general usage.

研究动机与目标

• 解决现有词嵌入方法直接优化共现计数所导致的局限性，这些方法缺乏内在的噪声鲁棒性与注意力机制。
• 将词嵌入重新构架为排序问题，使其更自然地与词相似度和类比等评估指标对齐。
• 开发一种在训练数据有限或存在噪声时仍能保持高性能的方法，而标准方法在此类情况下性能显著下降。
• 通过多节点分布式实现，实现高效可扩展的训练，并公开发布以供社区使用。

提出的方法

• WordRank 通过基于共现相关性的语境词相关性对语境词进行排序来建模词-语境关系，目标是将语义上相似的语境排在更高位置。
• 它使用可微分、凹的排序损失函数 ρ(rank(w,c))，该函数单调递增，从而实现对相对顺序的优化，而非绝对值。
• 排序损失通过强调排名靠前的语境、降低不相关语境的权重，天然地提供了注意力机制。
• 通过聚焦于相对排序顺序，该方法对噪声具有鲁棒性，降低了在小规模或噪声语料中对虚假共现的敏感性。
• 该方法采用分布式框架实现，可在大规模语料上高效训练，且超参数调优需求极低。
• WordRank 使用与基线方法（如 GloVe 和 word2vec）相同的共现矩阵，确保公平比较，同时优化的是排序目标而非对数似然或 PMI。

实验结果

研究问题

• RQ1 词表示学习能否被有效重构为排序问题，以更好地与词相似度和类比评估指标对齐？
• RQ2 基于排序的目标是否能在词相似度和类比任务上提升性能，尤其在数据稀疏或噪声多的场景下？
• RQ3 排序损失是否能自然地诱导注意力机制并增强对噪声的鲁棒性，而无需显式修改网络架构？
• RQ4 WordRank 在不同语料规模下与 state-of-the-art 方法（如 word2vec 和 GloVe）相比，性能如何？

主要发现

• 仅使用 1700 万个词元，WordRank 在词相似度基准上的表现几乎等同于在 72 亿词元上训练的模型。
• 在词相似度任务中，WordRank 在所有语料规模下均持续优于 word2vec 和 GloVe，尤其在低数据设置下优势显著。
• 在词类比任务中，当语料规模较大时，WordRank 与 word2vec 和 GloVe 表现相当；但在小规模设置下仍保持优势。
• WordRank 在 6 个词相似度数据集中的 5 个以及 Google 类比数据集 2 个子任务中的 1 个上优于两个基线模型。
• t-SNE 可视化显示，WordRank 嵌入结果中 'cat' 的语义邻居（如 feline, kitten）和句法邻居（如 leashed, leashes）呈现出有意义的聚类。
• WordRank 的多节点分布式实现已公开发布，支持高效可扩展的部署与可复现性。