[论文解读] Scatter Networks: A New Approach for Analyzing Information Scatter on the Web

Lada A. Adamic, Suresh K. Bhavnani+1 more|ArXiv.org|Nov 26, 2006

Complex Network Analysis Techniques参考文献 32被引用 4

一句话总结

本文提出了散射网络（scatter networks）——一种将网页与事实（信息单元）关联的二分图网络模型，用于分析信息在网页中的分布模式。通过应用聚类、中心性分析及鲁棒性测试等网络分析技术，作者发现事实高度聚集，稀有事实常隐藏于专业页面中，而连接性文档在实现全面信息发现中起关键作用，为改进搜索引擎设计以支持更完整的信息检索提供了新洞见。

ABSTRACT

Information on any given topic is often scattered across the web. Previously this scatter has been characterized through the distribution of a set of facts (i.e. pieces of information) across web pages, showing that typically a few pages contain many facts on the topic, while many pages contain just a few. While such approaches have revealed important scatter phenomena, they are lossy in that they conceal how specific facts (e.g. rare facts) occur in specific types of pages (e.g. fact-rich pages). To reveal such regularities, we construct bi-partite networks, consisting of two types of vertices: the facts contained in webpages and the webpages themselves. Such a representation enables the application of a series of network analysis techniques, revealing structural features such as connectivity, robustness, and clustering. We discuss the implications of each of these features to the users' ability to find comprehensive information online. Finally, we compare the bipartite graph structure of webpages and facts with the hyperlink structure between the webpages.

研究动机与目标

• 填补现有研究在理解信息在网页中结构化分散方式方面的空白，超越简单的频率分布分析。
• 构建基于网络的框架，建模网页间事实的共现关系，以揭示信息分布中隐藏的结构性模式。
• 评估聚类、中心性及鲁棒性等网络属性如何影响用户在线发现全面信息的能力。
• 将散射网络的结构性质与传统超链接网络进行比较，评估其对信息可及性的影响。
• 为未来搜索引擎的设计提供依据，通过利用网络结构实现对全面信息检索的优先支持。

提出的方法

• 构建一个包含两类节点的二分图网络：网页及其所包含的事实（信息单元）。
• 应用网络分析技术，包括社区检测（如基于模块度的算法），以识别共现事实的聚类。
• 使用介数中心性识别在不同主题聚类之间起桥梁作用的关键文档与事实。
• 通过迭代移除高中心性节点进行鲁棒性分析，评估网络在遭受破坏时的连通性。
• 测量度量性（assortativity），以判断富含事实的网页是否更倾向于包含常见或稀有事实。
• 将散射网络的结构与底层超链接结构进行比较，以评估信息发现中的导航效率。

实验结果

研究问题

• RQ1 从共现与聚类的角度看，事实在网页中如何分布？
• RQ2 哪些网页与事实在信息空间中充当不同主题聚类之间的桥梁？
• RQ3 移除关键网页后，信息访问的连通性与全面性将受到何种影响？
• RQ4 聚类与度量性等网络属性在多大程度上可预测信息全面发现的难易程度？
• RQ5 散射网络结构与超链接网络相比，在支持用户导航与事实发现方面有何差异？

主要发现

• 关于黑色素瘤的事实被高度聚集为特定主题的子群，社区检测算法成功识别出这些聚类，且与专家定义的主题高度一致。
• 少数介数中心性高的文档与事实在不同主题聚类之间起到关键桥梁作用，显著提升了信息可及性。
• 鲁棒性分析表明，即使仅移除少量核心文档，网络连通性也会严重受损，表明信息网络存在脆弱性。
• 度量性分析显示，富含事实的网页更倾向于包含稀有事实，表明引导用户访问此类网页可实现全面信息获取且避免冗余。
• 散射网络结构表明，维基百科的集中式页面结构可实现对所有事实的快速访问，而melanoma.com的去中心化结构仍可通过超链接遍历实现全面的信息发现。
• 散射-超链接网络为设计未来搜索引擎提供了更优的表示方式，通过结合事实覆盖率与导航引导能力，优先支持全面的信息检索。