[论文解读] Shuffling a Stacked Deck: The Case for Partially Randomized Ranking of Search Engine Results

Sandeep Pandey, Sourashis Roy+3 more|arXiv (Cornell University)|Mar 4, 2005

Consumer Market Behavior and Pricing参考文献 17被引用 71

一句话总结

本文提出在搜索引擎中采用部分随机化排序，以减少热门页面的固化现象，并提升高质量新内容的发现率。通过临时性地将未探索的页面在结果列表中提升位置（采用受控的10%随机化率），该方法显著提高了高质量新页面的可见性，从而在长期中显著改善了结果质量。该结论通过跨多种网络社区模型的真实世界实验和模拟得到验证。

ABSTRACT

In-degree, PageRank, number of visits and other measures of Web page popularity significantly influence the ranking of search results by modern search engines. The assumption is that popularity is closely correlated with quality, a more elusive concept that is difficult to measure directly. Unfortunately, the correlation between popularity and quality is very weak for newly-created pages that have yet to receive many visits and/or in-links. Worse, since discovery of new content is largely done by querying search engines, and because users usually focus their attention on the top few results, newly-created but high-quality pages are effectively ``shut out,'' and it can take a very long time before they become popular. We propose a simple and elegant solution to this problem: the introduction of a controlled amount of randomness into search result ranking methods. Doing so offers new pages a chance to prove their worth, although clearly using too much randomness will degrade result quality and annul any benefits achieved. Hence there is a tradeoff between exploration to estimate the quality of new pages and exploitation of pages already known to be of high quality. We study this tradeoff both analytically and via simulation, in the context of an economic objective function based on aggregate result quality amortized over time. We show that a modest amount of randomness leads to improved search results.

研究动机与目标

• 解决搜索引擎中的固化问题，即由于依赖流行度指标，新高质量页面系统性地被忽略。
• 探究在结果排序中引入受控随机性是否能改善搜索结果的长期平均质量。
• 以最大化整体结果质量为目标，评估在探索新页面与利用已知高质量页面之间的权衡。
• 开发分析与模拟模型，以捕捉不同排序策略下页面流行度与用户参与度的动态变化。
• 提供实证与理论证据，表明即使排序中的随机化程度较低，也能显著提升搜索结果质量。

提出的方法

• 通过将一小部分未探索（新）页面提升至结果列表更高位置，引入受控程度的随机性于搜索结果排序中。
• 采用排名提升机制，使新页面即使初始流行度较低，也有非零概率出现在顶部位置。
• 使用混合浏览与搜索框架建模用户行为，其中用户要么通过超链接浏览（具有传送概率c），要么通过确定性或随机化排序的搜索引擎进行查询。
• 将页面集合质量（QPC）定义为评估不同排序策略下随时间访问页面平均质量的指标。
• 在不同配置的网络社区中进行模拟，包括页面数量（n）、用户群体（u）、访问率（vu）和时间跨度（l），分别采用确定性与随机化排序。
• 开展一项为期45天、包含962名参与者的现实世界用户研究，将对照组（无排名提升）与实验组（应用排名提升）进行比较，以用户对笑话/幽默内容的评分作为质量的代理指标。

实验结果

研究问题

• RQ1 与基于流行度的确定性排序相比，引入少量随机性于搜索结果排序中，是否能显著提升长期平均结果质量？
• RQ2 随机化排名提升在不同社区规模、用户群体和访问模式下的表现如何？
• RQ3 在长期维持高质量结果的前提下，探索（提升新页面）与利用（排序热门页面）之间应如何达到最优平衡？
• RQ4 随机浏览（例如PageRank中的传送机制）与排名提升策略的结合，如何影响页面可见性与质量？
• RQ5 排名提升在多大程度上缓解了导致高质量新内容发现延迟的固化效应？

主要发现

• 一项为期45天、包含962名用户的现实世界研究表明，排名提升显著改善了整体搜索结果质量，用户在新页面被提升时给予了更多高质量笑话评分。
• 模拟结果表明，即使仅10%的排序随机化率，也能显著提升页面集合质量（QPC），表明适度随机化可增强高质量新内容的发现。
• 在不同社区规模（n = 10,000）、用户群体（u）和访问率（vu = 1,000次/天）下，排名提升带来的性能增益均具鲁棒性，QPC持续提升。
• 当引入随机浏览（通过传送概率c）时，其有助于非随机化排序的探索，但超过某一阈值后，因噪声过多而降低性能，凸显了结构化随机性的必要性。
• 探索与利用之间的权衡在中等随机化水平下达到最优：随机化不足则无法帮助新页面，而随机化过度则会降低结果质量。
• 研究结论认为，随机化排名提升是一种有前景的低成本策略，能持续提升搜索结果质量，且不损害用户体验。