[论文解读] Tailoring Word Embeddings for Bilexical Predictions: An Experimental Comparison

Pranava Madhyastha, Xavier Carreras+1 more|arXiv (Cornell University)|Dec 22, 2014

Topic Modeling参考文献 11被引用 3

一句话总结

本论文提出一种方法，通过在双线性兼容性模型上使用低秩正则化压缩预训练词向量，学习针对双词关系的任务特定词嵌入。该方法在高度压缩的嵌入（低至5维）下实现了最先进性能，预测准确率和效率均优于通用嵌入和其它正则化方案。

ABSTRACT

We investigate the problem of inducing word embeddings that are tailored for a particular bilexical relation. Our learning algorithm takes an existing lexical vector space and compresses it such that the resulting word embeddings are good predictors for a target bilexical relation. In experiments we show that task-specific embeddings can benefit both the quality and efficiency in lexical prediction tasks.

研究动机与目标

• 研究任务特定词嵌入是否能提升双词关系建模中的预测性能与效率。
• 确定通过低秩约束压缩通用词嵌入是否能增强其在特定语言关系上的预测能力。
• 比较不同正则化技术（核范数（$\ell_\star$）、$\ell_2$ 和 $\ell_1$）在学习紧凑且高性能嵌入方面的有效性。
• 评估从原始分布表示（词袋）或基于神经网络的嵌入（skip-gram）出发，哪种初始向量空间能为定制化模型带来更好结果。
• 评估任务特定嵌入是否能在特定词汇预测任务中超越或改进现有通用嵌入（如skip-gram）的性能。

提出的方法

• 该方法使用对数线性双词模型，通过双线性形式 $\phi(q)^\top W \phi(c)$ 计算查询词与候选词之间的兼容性得分，其中 $\phi$ 为词表示，$W$ 为可学习矩阵。
• 通过核范数（$\ell_\star$）对矩阵 $W$ 进行正则化，以诱导低秩结构，从而通过SVD实现维度压缩至 $k$-维的任务特定嵌入。
• 模型以半监督方式训练：$\phi$ 固定（来自词袋或skip-gram），$W$ 通过带正则化的负对数似然进行优化。
• 低秩形式 $W = UV^\top$ 允许将 $U^\top \phi(q)$ 和 $V^\top \phi(c)$ 解释为查询词和候选词的 $k$-维任务特定嵌入。
• 该方法比较了三种正则化方案：$\ell_\star$、$\ell_2$ 和 $\ell_1$，并包含一个 $W$ 为单位矩阵的无监督基线。
• 优化使用 FOBOS 算法，性能在三种双词关系上进行评估：名词-形容词、动词-宾语和动词-主语。

实验结果

研究问题

• RQ1 通过低秩压缩预训练向量学习的任务特定词嵌入，是否能在双词关系预测中实现比通用嵌入更高的预测准确率？
• RQ2 在双词关系预测任务中，核范数（$\ell_\star$）正则化是否优于 $\ell_2$ 或 $\ell_1$ 正则化，从而带来更好的性能和更高效的嵌入？
• RQ3 使用原始词袋表示与基于神经网络的skip-gram嵌入作为初始向量空间，在任务特定学习中是否存在性能差距？
• RQ4 高度压缩的嵌入（如 $k=5$）是否能实现接近全秩模型的性能，且这种性能是否因语言关系而异？
• RQ5 不同双词关系在多大程度上利用了不同的词汇特性？任务特定嵌入是否能比通用表示更有效地捕捉这些特性？

主要发现

• 核范数（$\ell_\star$）正则化在所有测试的双词关系中，均在预测准确率和模型效率方面持续优于 $\ell_2$ 和 $\ell_1$ 正则化。
• 在名词-形容词关系中，$\ell_\star$-正则化模型仅使用80维（最佳 $k$）即达到85.99%的准确率，优于无监督基线（85.12%）和其他正则化器。
• 即使在 $k=5$ 时，$\ell_\star$ 模型在名词-形容词关系上仍达到83.99%的准确率，表明极低维嵌入也可具备高度预测能力。
• 在宾语-动词关系中，使用skip-gram嵌入的 $\ell_\star$-正则化模型达到73.61%的准确率，显著优于无监督基线（69.23%）和其他正则化器。
• 该方法成功压缩了词袋（2,000D）和skip-gram（300D）表示，表明即使低维嵌入也能通过优化实现更好的任务特定性能。
• 表2中的示例输出显示，同一查询词（如“city”）在不同目标关系下会检索到不同的候选词，证实了不同关系确实利用了不同的词汇特性。