[论文解读] SemRe-Rank: Incorporating Semantic Relatedness to Improve Automatic Term Extraction Using Personalized PageRank.

Ziqi Zhang, Jie Gao+1 more|arXiv (Cornell University)|Nov 9, 2017

Advanced Text Analysis Techniques参考文献 65被引用 4

一句话总结

SemRe-Rank 通过将语义相关性整合到个性化 PageRank 框架中，增强了现有的自动术语提取（ATE）方法，以计算语义重要性得分，从而优化术语候选的排序。在 13 种最先进的 ATE 方法和四个多样化数据集上的评估显示，SemRe-Rank 在精度（前 K 个术语）上最高提升了 0.15，在 F1 上最高提升了 0.28，表现出一致且显著的性能提升。

ABSTRACT

Automatic Term Extraction deals with the extraction of terminology from a domain specific corpus, and has long been an established research area in data and knowledge acquisition. ATE remains a challenging task as it is known that no existing methods can consistently outperforms others in all domains. This work adopts a different strategy towards this problem as we propose to 'enhance' existing ATE methods instead of 'replace' them. We introduce SemRe-Rank, a generic method based on the concept of incorporating semantic relatedness - an often overlooked venue - into an existing ATE method to further improve its performance. SemRe-Rank applies a personalized PageRank process to a semantic relatedness graph of words to compute their 'semantic importance' scores, which are then used to revise the scores of term candidates computed by a base ATE algorithm. Extensively evaluated with 13 state-of-the-art ATE methods on four datasets of diverse nature, it is shown to have achieved widespread improvement over all methods and across all datasets. The best performing variants of SemRe-Rank have achieved, on some datasets, an improvement of 0.15 (on a scale of 0 ~ 1.0) in terms of the precision in the top ranked K term candidates, and an improvement of 0.28 in terms of overall F1.

研究动机与目标

• 为解决 ATE 方法在不同领域中性能不一致的长期挑战。
• 探究在现有 ATE 系统中引入语义相关性是否能提升术语候选的排序质量。
• 开发一种通用的、可插拔的增强方法，提升 ATE 性能而不替换基础算法。
• 在多样化领域和多个最先进的 ATE 基线方法上评估该方法，以确保其广泛适用性。

提出的方法

• 构建一个语义相关性图，其中节点代表词语，边代表语义相似度得分。
• 在图上应用个性化 PageRank，使用术语候选作为种子节点，计算其语义重要性得分。
• 将计算得到的语义重要性得分整合到基础 ATE 算法的评分函数中，以重新排序术语候选。
• 利用修正后的得分生成最终的术语排序，提升排名靠前术语的相关性。
• 该方法设计为通用且兼容任何能够生成初始术语得分的现有 ATE 算法。
• 该方法利用预训练词嵌入或语义相似度度量来填充语义相关性图。

实验结果

研究问题

• RQ1 在现有 ATE 方法中引入语义相关性，是否能在多样化领域中实现一致的性能提升？
• RQ2 通过个性化 PageRank 整合语义重要性，对排名靠前的术语候选的精度有何影响？
• RQ3 与基线 ATE 方法相比，SemRe-Rank 在整体 F1 分数上提升了多少？
• RQ4 该增强方法在多种 ATE 算法和多样化数据集上是否依然有效？
• RQ5 性能提升是源于语义丰富化，还是仅仅由于得分归一化？

主要发现

• SemRe-Rank 在多个数据集上，对前 K 个排名的术语候选，平均精度提升了 0.15。
• 该方法在部分数据集中，整体 F1 分数最高提升了 0.28，显著提升了术语提取质量。
• 在评估的全部 13 种最先进的 ATE 方法中，性能提升均保持一致，表明具有广泛的兼容性。
• SemRe-Rank 的最佳变体在全部四个多样化数据集上均表现出可测量的改进，证实了其鲁棒性。
• 整合语义相关性显著提升了术语排序质量，且无需修改核心 ATE 算法。