[论文解读] Scale-free topology of the interlanguage links in Wikipedia

Łukasz Bolikowski|ArXiv.org|Apr 3, 2009

Natural Language Processing Techniques参考文献 1被引用 7

一句话总结

本文分析了维基百科互语言链接的无标度拓扑结构，揭示尽管预期每个主题会形成孤立的团簇，但不连贯的编辑行为导致形成一个松散连接的近团簇复杂网络。通过过滤掉团簇并提取骨架网络，作者发现其结构遵循幂律度分布（γ ≈ 3.75），证实了该无标度拓扑由语义漂移和大规模编辑错误驱动。

ABSTRACT

The interlanguage links in Wikipedia connect pages on the same subject written in different languages. In theory, each connected component should be a clique and cover one topic. However, incoherent edits and obvious mistakes result in topic coalescence, yielding a non-trivial topology that is studied in this paper. We show that the component size distribution obeys the power law, and we explain anomalies in the distribution as results of certain edit conventions. Next, we propose a method of filtering out the cliques and study basic properties of the resulting skeleton, which turns out to be scale-free.

研究动机与目标

• 调查维基百科互语言链接的拓扑结构，该结构因不连贯编辑而偏离预期的团簇模型。
• 识别并解释组件大小分布中的异常现象，特别是幂律行为以及由大规模生产内容引起的峰值。
• 开发一种过滤方法，以提取主题的潜在骨架网络，去除团簇以揭示跨主题连接。
• 分析所得骨架网络并证明其无标度特性，表明存在非平凡的全局连通性。

提出的方法

• 本研究使用2008年8月的数据库转储，构建文章（网络 𝒜）和类别（网络 𝒞）的互语言链接无向图。
• 通过双对数图分析组件大小分布，以检测幂律行为，采用基于排名的大小缩放方法评估幂律指数。
• 提出一种新颖的骨架提取方法：将节点按其最近的参考语言（如英语）分组，并迭代合并同一语言组内的相连节点，以压缩近似团簇。
• 该方法包含三个合并步骤：合并仅具有单个参考邻居的节点、合并具有多个参考邻居的节点，以及简化度为2的节点以保持结构完整性。
• 针对度 >9 的节点计算聚类系数以检测不连贯性，使用条件概率评估不连贯的可能性。
• 最终对骨架网络进行度分布、聚类系数和幂律拟合分析，以确认其无标度特性。

实验结果

研究问题

• RQ1 维基百科互语言链接的组件大小分布是否遵循幂律？其偏离预期团簇模型的原因是什么？
• RQ2 不连贯编辑和大规模编辑实践（如日期相关条目）在多大程度上扭曲网络拓扑，并在组件大小分布中产生异常？
• RQ3 能否从互语言链接结构中提取出一个骨架网络，以揭示真实的跨主题连通性，同时过滤掉近似团簇结构？
• RQ4 所得骨架网络是否为无标度网络？这对其维基百科多语言内容的全局拓扑有何含义？
• RQ5 聚类系数和连通性模式如何区分网络中的连贯与不连贯组件？

主要发现

• 文章网络和类别网络的组件大小分布均符合幂律，组件大小 s 满足 s ∼ r^−γ，表明具有无标度行为。
• 约5%的非单点连通组件为不连贯，文章网络中99.58%的节点度 >9 且聚类系数 <80% 属于不连贯组件。
• 从文章网络提取的骨架网络平均度约为1.17，聚类系数约为37%，表明其为稀疏但局部聚集的结构。
• 骨架网络的度分布符合幂律，指数 γ ≈ 3.75，即使经过过滤处理，仍证实其具有无标度拓扑。
• 度分布中27–30处的峰值归因于大规模编辑错误，例如错误的互语言链接将同一种语言版本中一个月内所有日期条目相互连接。
• ‘国王效应’的存在以及日期相关主题的影响扭曲了连贯的组件大小分布，促成了观察到的幂律行为。