[论文解读] Thematically Reinforced Explicit Semantic Analysis

Yannis Haralambous, Vitaly Klyuev|arXiv (Cornell University)|May 17, 2014

Natural Language Processing Techniques参考文献 12被引用 12

一句话总结

本文提出了一种主题强化的显式语义分析（ESA）方法，通过将维基百科的类别层次结构整合到tfidf加权中，提升了语义相关性。通过计算类别图的最大生成树，并沿主题路径聚合类别tfidf得分，该方法增强了对上下文无关词语的鲁棒性，在法语新闻组文本分类任务中相比标准ESA实现了9–10%的精确率提升。

ABSTRACT

We present an extended, thematically reinforced version of Gabrilovich and Markovitch's Explicit Semantic Analysis (ESA), where we obtain thematic information through the category structure of Wikipedia. For this we first define a notion of categorical tfidf which measures the relevance of terms in categories. Using this measure as a weight we calculate a maximal spanning tree of the Wikipedia corpus considered as a directed graph of pages and categories. This tree provides us with a unique path of "most related categories" between each page and the top of the hierarchy. We reinforce tfidf of words in a page by aggregating it with categorical tfidfs of the nodes of these paths, and define a thematically reinforced ESA semantic relatedness measure which is more robust than standard ESA and less sensitive to noise caused by out-of-context words. We apply our method to the French Wikipedia corpus, evaluate it through a text classification on a 37.5 MB corpus of 20 French newsgroups and obtain a precision increase of 9-10% compared with standard ESA.

研究动机与目标

• 为解决标准ESA在捕捉词语之间主题关系与本体关系方面的局限性，特别是在词语在维基百科页面中共同出现频率较低时的问题。
• 通过引入维基百科类别结构中的主题上下文，提升ESA对由上下文无关或语义无关词语出现引起的噪声的鲁棒性。
• 开发一种利用维基百科类别层次组织结构来增强词语表征的主题一致性，从而提升语义相关性度量的方法。
• 在37.5 MB法语新闻组语料库上，通过真实世界文本分类任务评估所提出方法，证明其在性能上优于标准ESA。

提出的方法

• 提出一种新颖的类别tfidf度量方法，通过词频与逆类别频率量化词语在维基百科类别中的相关性。
• 构建维基百科页面与类别之间的有向图，计算最大生成树，以识别从每个页面到类别层次根节点的“最相关”主题路径。
• 通过聚合从页面到根类别的主题路径上所有节点的类别tfidf值，对标准词级tfidf得分进行强化。
• 将主题强化的语义相关性度量定义为经由标准tfidf与类别tfidf权重增强后的词向量之间的余弦相似度。
• 在支持向量机（SVM）的文本分类流程中使用所得向量表示，通过调优超参数以优化精确率。
• 在20个法语新闻组语料库上验证该方法，与标准ESA和XESA进行性能对比。

实验结果

研究问题

• RQ1 将维基百科的类别层次结构整合到ESA中，能否通过降低对上下文无关词语使用的敏感性来提升语义相关性？
• RQ2 通过类别图的最大生成树实现的主题强化，如何影响语义相似度度量的鲁棒性与准确性？
• RQ3 在文本分类任务中，特别是处理主题与本体关系方面，该方法在多大程度上优于标准ESA和XESA？
• RQ4 在增强的语义表征中，标准tfidf与类别tfidf权重之间的最优平衡是什么？

主要发现

• 所提出的主题强化ESA方法在37.5 MB法语新闻组语料库上的分类精确率相比标准ESA提升了9–10%。
• 观察到的最高精确率为75.015%，该结果在特定超参数设置下取得（λ₁=1.5, λ₂=0, λ₃=0.5, λ₄=0.25, λ₅=0.125, C=3.0）。
• 当所有λ参数均设为零（即标准ESA）时，精确率下降至65.58%，证实了主题强化的必要性。
• SVM分类器使用的支持向量数量随λ值升高而增加，表明精确率与计算成本之间存在权衡。
• 该方法在多种参数设置下均表现出一致的性能提升，即使在次优配置下，精确率仍保持在74.3%以上。
• 结果表明，通过类别层次结构实现的主题强化能有效缓解非主题共现带来的噪声，从而提升语义表征质量。