[论文解读] The Dawn of Today's Popular Domains: A Study of the Archived German Web over 18 Years

Helge Holzmann, Wolfgang Nejdl+1 more|arXiv (Cornell University)|Feb 3, 2017

Web Data Mining and Analysis参考文献 10被引用 15

一句话总结

本项纵向研究利用互联网档案馆的网页抓取数据，分析了1996年至2013年德国前100大热门网站在17个类别的演变情况。研究发现，70%的网页年龄不足一年，域名总量和页面大小均呈指数级增长；热门域名的体量每两年翻一番，不同类别的趋势显示，大学类网站存在时间长于游戏或购物类网站。

ABSTRACT

The Web has been around and maturing for 25 years. The popular websites of today have undergone vast changes during this period, with a few being there almost since the beginning and many new ones becoming popular over the years. This makes it worthwhile to take a look at how these sites have evolved and what they might tell us about the future of the Web. We therefore embarked on a longitudinal study spanning almost the whole period of the Web, based on data collected by the Internet Archive starting in 1996, to retrospectively analyze how the popular Web as of now has evolved over the past 18 years. For our study we focused on the German Web, specifically on the top 100 most popular websites in 17 categories. This paper presents a selection of the most interesting findings in terms of volume, size as well as age of the Web. While related work in the field of Web Dynamics has mainly focused on change rates and analyzed datasets spanning less than a year, we looked at the evolution of websites over 18 years. We found that around 70% of the pages we investigated are younger than a year, with an observed exponential growth in age as well as in size up to now. If this growth rate continues, the number of pages from the popular domains will almost double in the next two years. In addition, we give insights into our data set, provided by the Internet Archive, which hosts the largest and most complete Web archive as of today.

研究动机与目标

• 理解当今德国最热门网站在过去18年中在网页年龄、体量和大小方面的演变情况。
• 评估互联网档案馆的网页抓取数据在捕捉德国最热门域名实际增长方面的代表性。
• 比较教育、商业和游戏等不同网站类别之间的增长模式。
• 为未来关于网络演化、档案完整性及内容动态的研究提供基础。

提出的方法

• 使用互联网档案馆的CDX索引，从1996年至2013年的德国网页抓取数据中提取URL、域名和时间戳的元数据。
• 将域名体量定义为每个域名的唯一URL总数，将页面大小定义为每个URL的平均内容大小。
• 通过计算网页首次出现时间与研究期结束时间（2013年）之间的时间差，追踪URL的年龄。
• 将域名划分为17个主题类别（如大学、游戏、购物等），以比较不同行业领域的增长趋势。
• 通过将档案中域名的出现情况与DENIC注册库的数据进行对比，验证其代表性。
• 应用纵向分析方法，基于2010年后抓取政策保持稳定，建立增长趋势模型并预测未来演化。

实验结果

研究问题

• RQ1 当今德国热门网站在过去18年中，其网页年龄、体量和大小如何演变？
• RQ2 互联网档案馆的抓取数据在多大程度上代表了德国网络中热门域名的实际增长？
• RQ3 不同网站类别（如教育、游戏、购物）在网页年龄和体量方面是否表现出不同的增长模式？
• RQ4 在时间和类别之间，域名体量和页面大小的指数增长趋势如何比较？

主要发现

• 约70%的分析URL年龄不足一年，表明内容更替率极高。
• 热门域名的体量呈指数增长，其翻倍时间约为两年。
• 新创建网页的平均大小随时间推移而增加，表明内容或标记复杂性在提升。
• 目前热门大学类域名中约75%在1999年之前已存在，而同期热门游戏类域名中不足20%已存在。
• 互联网档案馆的数据对热门域名具有较强的代表性，其域名出现趋势与DENIC注册库数据高度吻合。
• 本研究证实，尽管大多数网络内容年龄较轻，但极少数长期存在的网页对整个网络的年龄分布具有显著贡献。