[论文解读] Synonym search in Wikipedia: Synarcher

Andrew Krizhanovsky|ArXiv.org|Jun 22, 2006

Wikis in Education and Collaboration参考文献 4被引用 20

一句话总结

本文提出 Synarcher 工具，通过利用超链接和分类结构，采用改进的 HITS 算法在 Wikipedia 中发现同义词及相关术语。该工具将结果可视化为交互式图表，使用户能够探索并手动筛选潜在的同义词，成功识别出 WordNet 或 Moby Thesaurus 中未收录的新同义词，例如 'android' 和 'replicant' 作为 'robot' 的同义词。

ABSTRACT

The program Synarcher for synonym (and related terms) search in the text corpus of special structure (Wikipedia) was developed. The results of the search are presented in the form of graph. It is possible to explore the graph and search for graph elements interactively. Adapted HITS algorithm for synonym search, program architecture, and program work evaluation with test examples are presented in the paper. The proposed algorithm can be applied to a query expansion by synonyms (in a search engine) and a synonym dictionary forming.

研究动机与目标

• 开发一种基于 Wikipedia 结构化数据（超链接和分类）的与语言无关的同义词搜索系统。
• 通过整合页面关键词和分类信息，将 HITS 算法改进用于同义词发现。
• 创建一个基于图界面的交互式可视化工具，用于探索同义词关系。
• 评估系统在发现超出现有词典（如 WordNet 和 Moby）范围的同义词方面的能力。

提出的方法

• 通过将页面标题作为关键词集合以及分类隶属关系整合到 HITS 算法中，以增强相似性检测能力。
• 将 Wikipedia 建模为有向图，其中节点为文章，边为超链接，并通过迭代计算枢纽节点和权威节点。
• 使用 TouchGraph WikiBrowser 实现实时、交互式的图可视化，展示查询词周围的同义词聚类。
• 允许用户通过交互方式对节点进行评分，将其视为同义词，并将选择结果存储在客户端以供后续优化。
• 构建英文和俄文 Wikipedia 的本地副本（截至 2005 年 3 月），以实现离线计算并避免性能瓶颈。
• 基于分类结构实施分层聚类，按主题对相关术语进行分组。

实验结果

研究问题

• RQ1 改进后的 HITS 算法是否能有效利用 Wikipedia 的超链接和分类结构识别语义相关的术语？
• RQ2 同义词发现的性能与 WordNet 和 Moby Thesaurus 等成熟词典相比如何？
• RQ3 交互式用户反馈在多大程度上能提升基于图的同义词提取结果的精确度？
• RQ4 该系统能否发现现有词典资源中未包含的新同义词？
• RQ5 基于 Wikipedia 分类分类法的分层聚类在多大程度上有效？

主要发现

• Synarcher 识别出七个 WordNet 或 Moby Thesaurus 中未收录的 'robot' 同义词：'android'、'golem'、'homunculus'、'domotics'、'replicant'、'sentience' 和 'parahumans'。
• 对于 'astronaut'，系统发现了四个额外的同义词——'cosmonaut'、'taikonaut'、'spationaut' 和 'space tourist'——这些均超出 WordNet 的收录范围。
• 英文 Wikipedia（901,861 页）产生的同义词候选数量显著多于俄文 Wikipedia（30,161 页），反映出语料规模的影响。
• 系统生成的关联术语列表需要人工筛选，表明同义词发现尚未完全自动化，且需要专家干预以提升质量。
• 利用分类结构实现了结果的分层聚类，支持按主题组织同义词聚类。
• 交互式图界面使用户能够探索并优化同义词集合，证明了用户参与式优化在同义词发现中的价值。