[论文解读] Re-Pair Compression of Inverted Lists

Francisco Claude, Antonio Fariña+1 more|ArXiv.org|Nov 17, 2009

Algorithms and Data Compression参考文献 26被引用 4

一句话总结

本文提出在倒排列表中对连续位置之间的差异应用 Re-Pair 压缩，以实现快速随机访问和高效的列表交集。尽管 Re-Pair 具有强大的压缩能力和隐式跳过功能，但研究发现其在时间/空间权衡上仍逊于最先进的方法（如 Rice 编码和基于位图的压缩），尤其是在将较长列表转换为位图时表现更差。

ABSTRACT

Compression of inverted lists with methods that support fast intersection operations is an active research topic. Most compression schemes rely on encoding differences between consecutive positions with techniques that favor small numbers. In this paper we explore a completely different alternative: We use Re-Pair compression of those differences. While Re-Pair by itself offers fast decompression at arbitrary positions in main and secondary memory, we introduce variants that in addition speed up the operations required for inverted list intersection. We compare the resulting data structures with several recent proposals under various list intersection algorithms, to conclude that our Re-Pair variants offer an interesting time/space tradeoff for this problem, yet further improvements are required for it to improve upon the state of the art.

研究动机与目标

• 探索 Re-Pair 压缩作为传统差分编码在倒排列表中的替代方案，以实现高效的交集操作。
• 设计支持主内存和辅内存中快速随机访问与优化列表交集的 Re-Pair 变体。
• 评估 Re-Pair 压缩倒排列表在时间/空间权衡上相较于近期最先进的压缩技术的表现。
• 研究将 Re-Pair 与位图表示结合对长列表的影响，特别是在辅内存场景下。
• 在多种交集算法下，评估 Re-Pair 与字节编码、Rice 编码和基于位图的压缩的性能表现。

提出的方法

• 对倒排列表中连续位置之间的差异应用 Re-Pair，一种基于语法的压缩方法。
• 设计专门的 Re-Pair 变体，以支持快速随机访问，并在未采样区域实现隐式跳过。
• 将 Re-Pair 与现有采样技术集成，以实现辅内存中的高效访问。
• 将 Re-Pair 与位图压缩结合用于长列表，基于文档数量设定阈值以决定何时切换到位图。
• 采用查找策略和优化的字典表示，以提升解压缩速度和内存效率。
• 在多种交集算法和工作负载配置下，将 Re-Pair 与字节编码、Rice 编码和基于位图的压缩进行比较。

实验结果

研究问题

• RQ1 Re-Pair 对倒排列表差异的压缩能否在时间/空间权衡上优于传统差分编码方法？
• RQ2 在列表交集工作负载中，Re-Pair 与先进的压缩方案（如 Rice 编码和位图表示）相比表现如何？
• RQ3 Re-Pair 的隐式跳过功能在随机访问和交集操作中能多大程度上提升性能？
• RQ4 用位图替换长列表对 Re-Pair 的压缩效率和交集速度有何影响？
• RQ5 Re-Pair 是否能有效适配辅内存环境，其中 I/O 成本是主要因素？

主要发现

• Re-Pair 实现了具有竞争力的压缩率，并支持快速随机访问，得益于未采样区域的隐式跳过。
• 尽管压缩能力强且解压速度快，但 Re-Pair 在时间/空间权衡上仍不如 Rice 编码，尤其是在长列表使用位图压缩时表现更差。
• 使用位图处理长列表会削弱 Re-Pair 的压缩优势，因为其在长列表中对重复间隙的利用效率不如其他方法。
• 结合位图的查找策略在时间/空间权衡上优于原始位图方案，表明位图集成的优化至关重要。
• 当 Re-Pair 与位图结合时，其性能尤其被大幅超越，表明列表转为位图的转换标准需要进一步优化。
• 研究证实，字节编码仍是强有力的基线，但 Rice 编码在压缩和性能两方面均占主导地位，凸显 Re-Pair 方法仍有改进空间。