[论文解读] Using eigenvectors of the bigram graph to infer morpheme identity

Mikhail Belkin, John Goldsmith|ArXiv.org|Jul 2, 2002

Natural Language Processing Techniques参考文献 2被引用 4

一句话总结

本文提出了一种无监督方法，通过从原始语料构建的二元组图的特征向量来推断词素身份。通过对图的邻接矩阵进行分解，具有相似句法类别的词在二维嵌入空间中聚类，从而能够识别出具有一致句法功能的词尾（如 -tion 作为名词标记），在无需标注数据的情况下，其形态分析性能优于传统方法。

ABSTRACT

This paper describes the results of some experiments exploring statistical methods to infer syntactic behavior of words and morphemes from a raw corpus in an unsupervised fashion. It shares certain points in common with Brown et al (1992) and work that has grown out of that: it employs statistical techniques to analyze syntactic behavior based on what words occur adjacent to a given word. However, we use an eigenvector decomposition of a nearest-neighbor graph to produce a two-dimensional rendering of the words of a corpus in which words of the same syntactic category tend to form neighborhoods. We exploit this technique for extending the value of automatic learning of morphology. In particular, we look at the suffixes derived from a corpus by unsupervised learning of morphology, and we ask which of these suffixes have a consistent syntactic function (e.g., in English, -tion is primarily a mark of nouns, but -s marks both noun plurals and 3rd person present on verbs), and we determine that this method works well for this task.

研究动机与目标

• 开发一种无监督方法，从未标注的原始语料中识别出具有稳定句法功能的词素。
• 解决通过统计模式区分承担多种句法角色的词素（例如，-s 既可表示复数又可表示第三人称单数）的挑战。
• 通过识别具有明确句法行为的派生词尾，扩展自动形态学学习。
• 探索词共现的结构模式是否能揭示形态句法类别，而无需事先标注。
• 评估谱图方法在捕捉词形句法规律方面的有效性。

提出的方法

• 从原始语料构建最近邻二元组图，其中节点代表词语，边连接在相邻位置共现的词语对。
• 基于相邻词语对之间的共现频率，构建加权邻接矩阵。
• 对图拉普拉斯矩阵或邻接矩阵进行特征向量分解，以提取低维嵌入。
• 使用前几个特征向量（特别是第二和第三特征向量）将词语投影到二维空间，使句法类别在空间中形成聚类。
• 将此嵌入方法应用于通过无监督形态学学习获得的词尾，评估其句法一致性。
• 在特征空间中对词语进行聚类，并评估词尾是否对应于连贯的句法类别（例如，名词构成 vs. 动词一致）。

实验结果

研究问题

• RQ1 二元组图的特征向量能否有效揭示原始、未标注语料中的句法类别？
• RQ2 通过无监督形态学学习获得的哪些词尾在不同词形中表现出一致的句法行为？
• RQ3 对词共现模式进行谱聚类，能在多大程度上识别出形态边界和句法功能？
• RQ4 该方法能否在无监督条件下区分模糊词尾（如 -s）与明确词尾（如 -tion）？
• RQ5 名词、动词和形容词等句法类别在特征空间中在多大程度上形成空间上连贯的聚类？

主要发现

• 相同句法类别的词在由二元组图导出的二维特征空间中倾向于形成空间上连贯的邻域。
• 该方法成功识别出 -tion 为始终如一的名词标记词尾，在嵌入中表现出高度的句法一致性。
• 像 -s 这类词尾，其句法功能多样（如表示复数名词和第三人称单数动词），在聚类中表现出较弱的连贯性，反映了其模糊性。
• 基于特征向量的方法在识别具有明确句法角色的词素方面优于基线统计方法。
• 即使缺乏词性标签或形态学标注，谱分解仍能有效捕捉句法规律。
• 该技术通过将词语邻接的结构模式与句法功能关联，实现了对词素身份的可靠推断。