[论文解读] Swivel: Improving Embeddings by Noticing What's Missing

Noam Shazeer, Ryan Doherty+2 more|arXiv (Cornell University)|Feb 6, 2016

Advanced Graph Neural Networks参考文献 13被引用 56

一句话总结

Swivel 是一种可扩展的分布式方法，通过近似分解从共现矩阵派生的点互信息（PMI）矩阵，学习低维特征嵌入。它使用分段损失函数，通过软合页损失显式建模未观测到的共现关系，从而在保持常见特征准确性的前提下，显著提升稀有特征的性能，并通过向量化计算和跨分布式工作节点的分片矩阵处理实现高效扩展。

ABSTRACT

We present Submatrix-wise Vector Embedding Learner (Swivel), a method for generating low-dimensional feature embeddings from a feature co-occurrence matrix. Swivel performs approximate factorization of the point-wise mutual information matrix via stochastic gradient descent. It uses a piecewise loss with special handling for unobserved co-occurrences, and thus makes use of all the information in the matrix. While this requires computation proportional to the size of the entire matrix, we make use of vectorized multiplication to process thousands of rows and columns at once to compute millions of predicted values. Furthermore, we partition the matrix into shards in order to parallelize the computation across many nodes. This approach results in more accurate embeddings than can be achieved with methods that consider only observed co-occurrences, and can scale to much larger corpora than can be handled with sampling methods.

研究动机与目标

• 开发一种可扩展的方法，从大型共现矩阵中学习高质量的特征嵌入，以同时捕捉已观测到和未观测到的共现关系。
• 解决现有方法（如 GloVe 和 SGNS）的局限性，这些方法要么忽略未观测到的共现关系，要么在语料规模增大时扩展性差。
• 在不降低频繁特征性能的前提下，提升稀有特征的嵌入质量。
• 通过向量化操作和分片技术，实现在大规模共现矩阵上高效、分布式的训练。

提出的方法

• Swivel 通过随机梯度下降近似分解从特征共现矩阵派生的点互信息（PMI）矩阵。
• 它使用分段损失函数，将已观测到的共现关系（带频率加权误差）与未观测到的共现关系（使用软合页损失以防止对 PMI 的高估）区分开来。
• 该算法将词嵌入与上下文嵌入的点积建模为真实 PMI 值的近似：$ w_i^\top \tilde{w}_j \approx \text{pmi}(i;j) = \log x_{ij} + \log|D| - \log x_{i*} - \log x_{*j} $。
• 为实现高效扩展，Swivel 将共现矩阵划分为分片子矩阵，从而在多个工作节点上实现并行处理。
• 使用向量化矩阵乘法同时计算数百万个预测的 PMI 值，利用 GPU 加速实现高吞吐量。
• 分块结构分摊了参数传输成本，并减少了分布式训练环境中的竞争。

实验结果

研究问题

• RQ1 一种显式建模未观测到共现关系的方法，是否能产生优于忽略这些关系的方法的嵌入？
• RQ2 包含未观测到共现信息是否会影响稀有特征与频繁特征上的性能表现？
• RQ3 像 Swivel 这类基于计数的方法，是否能比 SGNS 等基于采样的方法扩展到更大的语料库？
• RQ4 一种对已观测和未观测共现关系区别处理的分段损失函数，是否能带来更稳定和准确的嵌入？
• RQ5 向量化和分片计算在多大程度上能有效支持在大规模共现矩阵上实现可扩展训练？

主要发现

• Swivel 在类比推理任务中优于 SGNS 和 GloVe，尤其在稀有词汇上表现显著更优，所有频率桶中的准确率均更高。
• 在最频繁的词汇上，所有模型表现均较差，可能由于多义性和上下文多样性高，但 Swivel 保持了稳定性能，未出现退化。
• GloVe 在稀有词汇上的表现劣于 SGNS，表明其倾向于优先拟合常见词汇而牺牲稀有词汇，而 Swivel 避免了这种权衡。
• Swivel 在不同词频下的性能表现稳健，相较于 SGNS 和 GloVe 有持续改进，尤其在低频区域优势明显。
• 该方法扩展高效：单个 GPU 每秒可估算约 2 亿个 PMI 值，适用于 1024 维嵌入，利用向量化矩阵乘法。
• Swivel 可成功在数百台工作机上并行化，得益于分片和参数传输成本分摊，展示了在分布式环境中的强可扩展性。