[论文解读] On the Impact of Random Index-Partitioning on Index Compression

Moran Feldman, Ronny Lempel+2 more|arXiv (Cornell University)|Jul 28, 2011

Algorithms and Data Compression参考文献 20被引用 3

一句话总结

本文研究了跨服务器的随机索引分区如何降低倒排索引压缩中文档重排序技术的有效性。研究表明，尽管此类分区在随机排序下使索引大小呈对数减小，但它削弱了先进排序方案（如词典URL排序和基于TSP的聚类）的压缩优势，最终由于分布式查询处理时间的显著改善，使得随机分布更具优势，即使压缩效果更差。

ABSTRACT

The performance of processing search queries depends heavily on the stored index size. Accordingly, considerable research efforts have been devoted to the development of efficient compression techniques for inverted indexes. Roughly, index compression relies on two factors: the ordering of the indexed documents, which strives to position similar documents in proximity, and the encoding of the inverted lists that result from the ordered stream of documents. Large commercial search engines index tens of billions of pages of the ever growing Web. The sheer size of their indexes dictates the distribution of documents among thousands of servers in a scheme called local index-partitioning, such that each server indexes only several millions pages. Due to engineering and runtime performance considerations, random distribution of documents to servers is common. However, random index-partitioning among many servers adversely impacts the resulting index sizes, as it decreases the effectiveness of document ordering schemes. We study the impact of random index-partitioning on document ordering schemes. We show that index-partitioning decreases the aggregated size of the inverted lists logarithmically with the number of servers, when documents within each server are randomly reordered. On the other hand, the aggregated partitioned index size increases logarithmically with the number of servers, when state-of-the-art document ordering schemes, such as lexical URL sorting and clustering with TSP, are applied. Finally, we justify the common practice of randomly distributing documents to servers, as we qualitatively show that despite its ill-effects on the ensuing compression, it decreases key factors in distributed query evaluation time by an order of magnitude as compared with partitioning techniques that compress better.

研究动机与目标

• 评估随机索引分区对倒排索引中文档重排序技术压缩效果的影响。
• 量化分布式搜索系统中索引大小缩减与查询处理时间之间的权衡。
• 评估最先进的文档排序启发式方法（如词典URL排序、基于TSP的聚类）在数千台服务器上随机分区下的有效性。
• 通过展示其在减少查询评估时间方面的优势，为业界普遍采用随机文档分布的做法提供合理性，尽管该做法对压缩有负面影响。

提出的方法

• 本研究使用2500万页的TREC .gov2语料库，模拟在不同数量服务器（m）上进行索引分区，文档随机分配至服务器。
• 评估多种文档重排序策略：随机分配、词典URL排序和基于TSP的聚类，测量其对应的压缩倒排列表大小。
• 论文应用dGap编码（例如，差分编码）来压缩倒排列表，并测量总索引大小随服务器数量的变化。
• 采用球入瓮框架建模查询处理时间，将倒排列表视为球，服务器视为瓮，推导每台服务器最大负载的概率界。
• 使用Chernoff不等式分析在随机分区下，析取和合取查询中预期的最大负载（即查询处理时间）。
• 将理论界与真实TREC查询工作负载的实测结果进行对比，以验证模型。

实验结果

研究问题

• RQ1 在使用先进文档重排序技术时，随机索引分区如何影响压缩后倒排索引的大小？
• RQ2 随机分区在多大程度上削弱了词典URL排序和基于TSP的聚类的压缩优势？
• RQ3 在随机与基于URL的文档分区之间，索引大小与查询处理时间的权衡关系如何？
• RQ4 服务器数量如何影响分区索引中有效排序与随机排序之间的性能差距？
• RQ5 随机分区在减少查询处理时间方面的可观收益，是否足以抵消其对索引压缩效率的负面影响？

主要发现

• 当文档ID随机分配时，随机索引分区使压缩倒排列表的聚合大小随服务器数量的增加呈对数减小。
• 相反，当应用最先进的排序方案（如词典URL排序、TSP聚类）时，由于分区集合中局部性降低，聚合索引大小随服务器数量的增加呈对数增长。
• 尽管压缩效率下降，随机文档分区使每台服务器的最大负载（查询处理时间的代理指标）相比基于URL的分区方案降低了约一个数量级。
• 随机分区下查询处理时间的性能提升主要源于服务器间更好的负载均衡，这一点由球入瓮模型和实测数据共同证实。
• 研究发现，按主机聚类文档（如同一网站主机）对压缩增益贡献最大，而主机内部进一步进行词典URL排序仅带来边际改进。
• 结果表明，全局按词项分区（即按词项而非文档分区）在索引大小方面将优于当前的随机文档分区，但会带来更高的查询协调开销。