[论文解读] Unsupervised POS Induction with Word Embeddings

Chu‐Cheng Lin, Waleed Ammar+2 more|arXiv (Cornell University)|Mar 23, 2015

Natural Language Processing Techniques参考文献 20被引用 17

一句话总结

本文提出用预训练词嵌入上的多变量高斯分布替代无监督词性标注（POS）归纳中传统的多项式词发射模型，显著提升了八种语言的性能。关键发现是：skip-gram嵌入中较小的上下文窗口尺寸能提取更好的句法信息，从而在使用高斯发射模型处理嵌入而非原始词类型时，获得更优的POS归纳结果。

ABSTRACT

Unsupervised word embeddings have been shown to be valuable as features in supervised learning problems; however, their role in unsupervised problems has been less thoroughly explored. In this paper, we show that embeddings can likewise add value to the problem of unsupervised POS induction. In two representative models of POS induction, we replace multinomial distributions over the vocabulary with multivariate Gaussian distributions over word embeddings and observe consistent improvements in eight languages. We also analyze the effect of various choices while inducing word embeddings on "downstream" POS induction results.

研究动机与目标

• 探究词嵌入是否能在无监督学习中提升POS归纳性能，而不仅限于监督学习中的应用。
• 解决缺乏衡量词嵌入句法内容的评估指标的问题。
• 将经典POS归纳模型（HMM和CRF自编码器）重新参数化，以使用连续嵌入代替离散词类型。
• 评估不同嵌入生成方法对下游POS归纳性能的影响。

提出的方法

• 将HMM中的多项式发射分布替换为预训练词嵌入上的多变量高斯分布。
• 使用均值为μₜ、协方差为Σₜ的高斯分布，建模给定词性标签下词嵌入的条件概率。
• 使用标准skip-gram和结构化skip-gram嵌入，训练时采用不同上下文窗口大小和维度。
• 将相同的高斯发射模型应用于CRF自编码器架构以进行对比。
• 使用EM算法训练HMM模型，使用随机梯度下降训练CRF自编码器模型。
• 通过在八种语言上使用V-measure评估性能，涵盖不同嵌入类型、窗口大小和维度。

实验结果

研究问题

• RQ1 在无监督POS归纳模型中，用连续词嵌入替代离散词类型是否能带来性能提升？
• RQ2 词嵌入模型的选择（尤其是上下文窗口大小）如何影响POS归纳的句法质量？
• RQ3 在HMM和CRF自编码器中，使用嵌入上的高斯分布是否优于传统的多项式发射模型？
• RQ4 嵌入维度和模型架构在多大程度上影响POS归纳结果？
• RQ5 无监督POS归纳能否作为评估词嵌入句法内容的诊断工具？

主要发现

• 与基于词类型的多项式模型相比，使用词嵌入上的多变量高斯发射模型在八种语言中均一致提升了POS归纳性能。
• skip-gram嵌入中更小的上下文窗口尺寸（如w=1）显著优于更大的窗口，证实短程上下文模型能捕捉更多句法信息。
• 最佳V-measure得分为0.504，对应20维嵌入（d=20），而更高维嵌入（如d=100）的性能下降至0.460。
• 在相同窗口大小下，结构化skip-gram嵌入优于标准skip-gram嵌入，尤其在小窗口时表现更优。
• 模型学习到的词性类别中心点常接近抽象词或功能词（如动词的'entails'、'deems'），表明嵌入空间中的典型性可能与语言直觉不一致。
• 爬山实验验证了词嵌入能聚类句法相似的词，支持了句法相似性编码于嵌入空间中的假设。