[论文解读] Word2Vec is a special case of Kernel Correspondence Analysis and Kernels for Natural Language Processing

Hirotaka Niitsuma, Minho Lee|arXiv (Cornell University)|May 17, 2016

Natural Language Processing Techniques被引用 4

一句话总结

本文将 Word2Vec 确认为核对应分析（KCA）的一个特例，提出了一种内存高效的延迟稀疏随机 SVD（DSSVD）算法，使大规模 NLP 任务中的 CA 成为可能。该文提出了一种新颖的“尾部截断核”（tail-cut kernel），通过过滤噪声共现关系，显著优于现有词向量方法，在词相似性基准测试中达到最先进性能，同时保持确定性结果并降低超参数敏感性。

ABSTRACT

We show that correspondence analysis (CA) is equivalent to defining a Gini index with appropriately scaled one-hot encoding. Using this relation, we introduce a nonlinear kernel extension to CA. This extended CA gives a known analysis for natural language via specialized kernels that use an appropriate contingency table. We propose a semi-supervised CA, which is a special case of the kernel extension to CA. Because CA requires excessive memory if applied to numerous categories, CA has not been used for natural language processing. We address this problem by introducing delayed evaluation to randomized singular value decomposition. The memory-efficient CA is then applied to a word-vector representation task. We propose a tail-cut kernel, which is an extension to the skip-gram within the kernel extension to CA. Our tail-cut kernel outperforms existing word-vector representation methods.

研究动机与目标

• 为解决在具有数千个类别的大规模 NLP 任务中应用对应分析（CA）时面临的内存与计算不可行性问题。
• 建立 Word2Vec 与 CA 之间的理论联系，证明 Word2Vec 是核对应分析（KCA）的一个特例。
• 开发一种内存高效、确定性的神经网络词向量模型（如 Word2Vec）的替代方法，以避免随机初始化和超参数敏感性问题。
• 提出一种新颖的“尾部截断核”，通过过滤上下文窗口中的虚假共现关系，提升词向量质量。
• 证明核化 CA 可在标准相似性基准测试中超越最先进词表示方法。

提出的方法

• 提出一种延迟稀疏随机 SVD（DSSVD）算法，避免稠密矩阵展开，显著降低大规模列联表的内存使用和计算时间。
• 将 CA 重新表述为列联表上的主成分分析（PCA），并证明 CA 等价于对独热编码类别数据的基尼指数方差度量。
• 通过基于共现统计量导出的专用核函数，引入 CA 的非线性核扩展（KCA），实现非线性特征提取。
• 通过共现计数的阈值规则构建“尾部截断核”，仅保留统计上显著的词对，以减少噪声。
• 在词共现矩阵上应用 KCA 与尾部截断核，生成无需随机初始化的确定性、高质量词向量。
• 在不同共现矩阵上应用基于 SVD 的 LCA 和 KCA：N^skip（类似 skip-gram）、N^flat（平坦窗口）和 N^cut（尾部截断核），并比较性能。

实验结果

研究问题

• RQ1 能否使对应分析（CA）在具有数万个词类别的大规模 NLP 任务中实现可扩展性？
• RQ2 Word2Vec 是否在数学上等价于核对应分析（KCA）的某一特定实例？
• RQ3 CA 的核化扩展能否超越基于神经网络的词向量模型（如 Word2Vec 和 GloVe）？
• RQ4 所提出的尾部截断核是否能降低对窗口大小的敏感性，同时提升词相似性任务的性能？
• RQ5 在原本无监督的设置下，半监督 CA（SCA）能否利用标注数据进一步提升词向量质量？

主要发现

• DSSVD 算法将内存使用降至标准 SVD 的 10% 和随机 SVD 的 20%，同时相比标准 SVD 加速了 100 倍。
• 尾部截断核在六个词相似性基准测试（WordSim、MEN、SimLex-999 等）中表现最佳或接近最佳，优于 SGNS、CBOW、GloVe 和 fastText。
• LCA 使用平坦窗口矩阵时对窗口大小高度敏感，而尾部截断核在窗口大小超过 30 后表现稳定，表明其对超参数的依赖性更低。
• SCA（使用 MEN 和 M.Turk 的标注数据在 KCA 框架内提供监督）在大多数基准测试中优于无监督 LCA，证明了在 KCA 中引入半监督学习的价值。
• CA 的确定性特性确保了多次运行结果的一致性，而 Word2Vec 因随机初始化会产生不同向量。
• Word2Vec 与 CA 之间的理论联系得到验证：Word2Vec 被证明是具有特定核函数和线性变换的 KCA 的一个特例。