[论文解读] Resurrecting My Revolution: Using Social Link Neighborhood in Bringing Context to the Disappearing Web

Hany M. SalahEldeen, Michael L. Nelson|arXiv (Cornell University)|Sep 10, 2013

Social Media and Politics参考文献 16被引用 3

一句话总结

本文提出使用「推文签名」——即与缺失网页资源共现的推文中频率最高的五个词——作为搜索引擎查询，以恢复语义相似的替代资源。通过挖掘缺失资源的社会链接邻域，该方法在41%的案例中实现了与原始内容70%以上的文本相似度，为数字保存工作中的网页内容重建提供了实用解决方案。

ABSTRACT

In previous work we reported that resources linked in tweets disappeared at the rate of 11% in the first year followed by 7.3% each year afterwards. We also found that in the first year 6.7%, and 14.6% in each subsequent year, of the resources were archived in public web archives. In this paper we revisit the same dataset of tweets and find that our prior model still holds and the calculated error for estimating percentages missing was about 4%, but we found the rate of archiving produced a higher error of about 11.5%. We also discovered that resources have disappeared from the archives themselves (7.89%) as well as reappeared on the live web after being declared missing (6.54%). We have also tested the availability of the tweets themselves and found that 10.34% have disappeared from the live web. To mitigate the loss of resources on the live web, we propose the use of a "tweet signature". Using the Topsy API, we extract the top five most frequent terms from the union of all tweets about a resource, and use these five terms as a query to Google. We found that using tweet signatures results in discovering replacement resources with 70+% textual similarity to the missing resource 41% of the time.

研究动机与目标

• 调查通过社交媒体分享的网页资源的持久性与存档状态，特别是在埃及革命等历史事件背景下的表现。
• 解决网页资源从公共网络和公共存档中消失的问题，该问题威胁到数字保存工作以及对第一手历史记录的访问。
• 开发并评估一种利用社交媒体中的上下文信息（特别是共现推文的「社会链接邻域」）重建缺失网页资源的方法。
• 评估推文签名作为搜索查询在检索与原始资源语义相似的替代品方面的有效性。

提出的方法

• 使用 Topsy API 提取每个资源最多500条近期推文，以收集上下文信息。
• 通过识别与特定资源相关的所有推文的并集中频率最高的五个词，生成「推文签名」。
• 将推文签名作为 Google 搜索查询，以检索候选替代资源。
• 使用名为 'boilerpipe' 的样板去除库，从原始缺失资源和候选替代品中提取干净的文本内容。
• 计算原始资源与每个候选资源之间的余弦相似度，以衡量文本相似度。
• 根据相似度得分对候选替代品进行排序和评估，以最高分结果作为比较基准。

实验结果

研究问题

• RQ1 通过社交媒体分享的网页资源的消失率是多少？与档案保存率相比如何？
• RQ2 缺失资源的「社会链接邻域」（由共现推文定义）在多大程度上能提供足够的上下文以实现重建？
• RQ3 推文签名方法在检索与原始资源具有高度文本相似度的替代资源方面有多有效？
• RQ4 时间轴修订和档案缩略对档案可用性估计准确性有何影响？
• RQ5 档案和公共网络中资源的可用性与重新出现情况，如何影响数字保存的可靠性？

主要发现

• 网页资源从公共网络中消失的速率在第一年约为11%，此后每年保持在7.3%左右，与先前研究结果一致。
• 用于估算档案中资源数量的模型误差率约为11.5%，可能由于时间轴缩略和档案索引变化所致。
• 7.89%的档案资源被发现已从档案中消失，6.54%的资源在被标记为缺失后重新出现在公共网络上。
• 10.34%的推文本身被发现从公共网络中消失，表明社交媒体内容存在不稳定性。
• 使用推文签名作为搜索查询，在41%的案例中实现了与原始缺失资源至少70%的文本相似度。
• 使用推文签名的搜索结果的平均倒数排名（MRR）为0.43，表明在检索原始资源方面具有中等有效性。