[论文解读] RAProp: Ranking Tweets by Exploiting the Tweet/User/Web Ecosystem and Inter-Tweet Agreement

Srijith Ravikumar, Kartik Talamadupula+2 more|arXiv (Cornell University)|Aug 11, 2013

Misinformation and Its Impacts参考文献 6被引用 7

一句话总结

RAProp 是一种新颖的推文排序方法，通过结合源可信度（基于用户、推文和网页特征）与内容一致性（通过推文间相关性实现），在一致性图上传播可信度评分，以提升相关性。该方法在 TREC 2011 微博数据集上的 top-30 精确率比当前最佳方法高出 53%。

ABSTRACT

The increasing popularity of Twitter renders improved trustworthiness and relevance assessment of tweets much more important for search. However, given the limitations on the size of tweets, it is hard to extract measures for ranking from the tweets' content alone. We present a novel ranking method, called RAProp, which combines two orthogonal measures of relevance and trustworthiness of a tweet. The first, called Feature Score, measures the trustworthiness of the source of the tweet. This is done by extracting features from a 3-layer twitter ecosystem, consisting of users, tweets and the pages referred to in the tweets. The second measure, called agreement analysis, estimates the trustworthiness of the content of the tweet, by analyzing how and whether the content is independently corroborated by other tweets. We view the candidate result set of tweets as the vertices of a graph, with the edges measuring the estimated agreement between each pair of tweets. The feature score is propagated over this agreement graph to compute the top-k tweets that have both trustworthy sources and independent corroboration. The evaluation of our method on 16 million tweets from the TREC 2011 Microblog Dataset shows that for top-30 precision we achieve 53% higher than current best performing method on the Dataset and over 300% over current Twitter Search. We also present a detailed internal empirical evaluation of RAProp in comparison to several alternative approaches proposed by us.

研究动机与目标

• 为解决 Twitter 搜索结果相关性差和可信度低的问题，这些问题严重依赖于发布时间和关键词匹配。
• 克服仅依赖内容的方法（如 TF-IDF）的局限性，这些方法无法对简短、信息量低的推文进行惩罚。
• 通过结合源可信度与推文内容的独立佐证来改进排序效果。
• 开发一种可扩展的基于图的方法，利用推文/用户/网页生态系统实现稳健的相关性评估。
• 在真实世界微博数据上，超越现有基线方法（包括 Twitter 搜索和 USC/ISI）在精确率和 MAP 指标上的表现。

提出的方法

• RAProp 构建了一个包含用户、推文和网页的三层生态系统模型，以计算反映源可信度的特征得分（FS）。
• 它构建了一个一致性图，其中顶点为推文，边表示基于共享内容和网页引用的推文对之间内容一致性的估计值。
• 通过扩散过程在一致性图上传播特征得分，以增强具有佐证内容的推文的可信度评分。
• 该方法结合 FS 传播与推文间的一致性，对来自可信源且内容得到独立佐证的推文进行排序。
• 使用 top-K 精确率和平均平均精确率（MAP）评估结果，与 Twitter 搜索和 USC/ISI 等基线方法进行比较。
• 该方法在中介者与非中介者模型中均得到验证，展示了在不同检索设置下的鲁棒性。

实验结果

研究问题

• RQ1 将源可信度与推文间内容一致性相结合，能否提升推文排序的精确率？
• RQ2 RAProp 基于图的可信度传播方法与基于关键词或发布时间的排序方法相比，在相关性方面表现如何？
• RQ3 内容的独立佐证在多大程度上能提升可信度，使其超越仅依赖源可信度的情况？
• RQ4 在大规模微博数据上，RAProp 相较于最先进方法（如 USC/ISI 和原生 Twitter 搜索）的表现如何？
• RQ5 RAProp 是否能在不依赖查询特定背景知识的前提下，保持不同 top-K 检索阈值下的高精确率？

主要发现

• 在 TREC 2011 微博数据集上，RAProp 的 top-30 精确率比当前表现最佳的方法高出 53%。
• 与仅依赖发布时间和关键词匹配的原生 Twitter 搜索相比，RAProp 的 top-30 精确率提升了超过 300%。
• 在非中介者模型中，RAProp 的 top-30 精确率比 USC/ISI 基线高出 20%。
• 该方法的平均平均精确率（MAP）比 USC/ISI 高 4%，表明整体排序质量更优。
• 一致性图有效捕捉了内容佐证关系，减少了对高转发量或高时效性但可能具有误导性的推文的依赖。
• 在一致性图上传播特征得分，成功识别出即使来源被攻破或具有误导性时仍可信的推文。