[论文解读] Tight and simple Web graph compression

Szymon Grabowski, Wojciech Bieniecki|arXiv (Cornell University)|Jun 4, 2010

Algorithms and Data Compression参考文献 19被引用 7

一句话总结

本文提出了两种新颖的Web图压缩算法，通过利用超链接列表中的结构冗余，实现了更优的压缩比。第一种算法采用自适应块大小和增强的差分编码，在牺牲访问速度的前提下减少了存储空间；第二种算法将相邻的列表合并为有序结构，实现了具有竞争力的空间-时间权衡，压缩率低至每条边1.06比特——超越了以往工作，同时保持了实用的访问速度。

ABSTRACT

Analysing Web graphs has applications in determining page ranks, fighting Web spam, detecting communities and mirror sites, and more. This study is however hampered by the necessity of storing a major part of huge graphs in the external memory, which prevents efficient random access to edge (hyperlink) lists. A number of algorithms involving compression techniques have thus been presented, to represent Web graphs succinctly but also providing random access. Those techniques are usually based on differential encodings of the adjacency lists, finding repeating nodes or node regions in the successive lists, more general grammar-based transformations or 2-dimensional representations of the binary matrix of the graph. In this paper we present two Web graph compression algorithms. The first can be seen as engineering of the Boldi and Vigna (2004) method. We extend the notion of similarity between link lists, and use a more compact encoding of residuals. The algorithm works on blocks of varying size (in the number of input lines) and sacrifices access time for better compression ratio, achieving more succinct graph representation than other algorithms reported in the literature. The second algorithm works on blocks of the same size, in the number of input lines, and its key mechanism is merging the block into a single ordered list. This method achieves much more attractive space-time tradeoffs.

研究动机与目标

• 为解决因Web图规模过大而超出可用内存容量，导致无法将大规模Web图存储在主内存中的挑战。
• 在保持高效随机访问邻接表的前提下，进一步提升压缩比，超越现有方法。
• 探索简洁Web图表示中空间效率与访问性能之间的权衡。
• 开发一种方法，利用超链接列表中的局部与全局冗余，实现更优的压缩效果。
• 在真实世界的Web图数据集上评估所提出算法的性能。

提出的方法

• 第一种算法使用可变大小的邻接列表块，并通过改进残差编码和在块上应用Deflate压缩，扩展了Boldi与Vigna的基于相似性的压缩方法。
• 在每个块内的列表上应用差分编码，其中每个列表引用前一个列表，仅存储差异（残差）。
• 第二种算法处理固定大小的块，并将块内所有列表合并为单个有序列表，通过全局冗余检测实现更有效的压缩。
• 采用混合方法：LM-bitmap用于快速访问，LM-diff用于更高压缩率，两者均利用块级合并和差分编码。
• 使用Deflate压缩对残差进行压缩，并在四种真实Web图数据集的直接形式和转置形式上进行测试。
• 系统使用Java实现，在3.0 GHz Pentium4机器上运行，配备1 GB内存，测量每条边的比特数（bpe）和每条边的访问时间。

实验结果

研究问题

• RQ1 能否通过将邻接列表之间的相似性概念扩展至超越原始Boldi–Vigna方法的范围，来改进Web图压缩？
• RQ2 将块内多个邻接列表合并为单个有序列表，是否能比逐列表差分编码带来更好的压缩效果？
• RQ3 在Web图压缩中，平衡压缩比与访问时间的最优块大小是多少？
• RQ4 与Boldi–Vigna和基于语法的方案等现有方法相比，所提算法在空间-时间权衡方面表现如何？
• RQ5 所提方法能否在实现低于1.1 bpe压缩率的同时，保持与SSD磁盘访问速度相当的访问时间？

主要发现

• 在Indochina-2004数据集上，LM-diff变体在16384字节块大小下实现了1.061 bpe的压缩率，优于以往工作。
• 在EU-2005数据集上，LM-bitmap变体在h=32时达到1.485 bpe，表现出强劲的压缩性能，且访问时间可接受。
• 访问时间随块大小增加而上升：在Indochina-2004上，使用16384字节块时每条边访问时间为57.39 μs，而1024字节块时为6.50 μs。
• 块大小从1024字节加倍至16384字节，平均节省约10%的空间，但访问时间平均增加了约9倍。
• 在Indochina-2004上，LM-diff变体在h=64时解码速度比LM-bitmap慢74%，但平均慢度更适中。
• 所提算法的访问速度显著快于标准7200 RPM硬盘（约10 ms），即使比BV或Claude–Navarro方法慢1–2个数量级。