[论文解读] Slim Graph: Practical Lossy Graph Compression for Approximate Graph Processing, Storage, and Analytics

Maciej Besta, Simon Weber+5 more|arXiv (Cornell University)|Dec 18, 2019

Graph Theory and Algorithms参考文献 189被引用 5

一句话总结

Slim Graph 引入了一种新颖的编程模型和框架，用于实际的有损图压缩，实现了高性能的近似图处理、存储压缩以及精确的分析。它使用可编程的压缩内核来修改局部图结构，同时保留关键属性（如连通分量和谱特性），并采用统计差异度量方法来衡量准确性——在真实图中实现了显著的速度提升和存储压缩，且保持了高保真度。

ABSTRACT

We propose Slim Graph: the first programming model and framework for practical lossy graph compression that facilitates high-performance approximate graph processing, storage, and analytics. Slim Graph enables the developer to express numerous compression schemes using small and programmable compression kernels that can access and modify local parts of input graphs. Such kernels are executed in parallel by the underlying engine, isolating developers from complexities of parallel programming. Our kernels implement novel graph compression schemes that preserve numerous graph properties, for example connected components, minimum spanning trees, or graph spectra. Finally, Slim Graph uses statistical divergences and other metrics to analyze the accuracy of lossy graph compression. We illustrate both theoretically and empirically that Slim Graph accelerates numerous graph algorithms, reduces storage used by graph datasets, and ensures high accuracy of results. Slim Graph may become the common ground for developing, executing, and analyzing emerging lossy graph compression schemes.

研究动机与目标

• 通过将有损压缩作为性能和存储优化手段，应对存储和处理大规模图（例如万亿边数据集）日益增长的挑战。
• 克服无损压缩的局限性，后者在接近理论存储边界时面临高解压缩成本和收益递减的问题。
• 提供一个实用且可扩展的框架，使开发人员能够在无需低层级并行编程的情况下实现和评估新型有损压缩方案。
• 通过定义评估信息损失的严格度量标准，确保近似图分析的高准确性，涵盖多种图属性。
• 建立一个统一平台，用于在多样化的工作负载和图类型上设计、执行和分析有损图压缩方法。

提出的方法

• 提出以“压缩内核”为中心的编程模型——即作用于局部图结构（如边、三角形）的小型、可组合函数，可并行执行。
• 采用运行时引擎管理内核的并行执行，使开发人员无需关注底层并行性实现细节。
• 使用统计差异度量（如 Kullback-Leibler 散度）量化概率图属性中的信息损失，实现客观的准确性评估。
• 应用新型压缩方案，如三角形压缩（TR），该方法泛化了以往方法，并保留了最大基数匹配等关键属性。
• 支持多种图属性作为保留目标，包括谱特性、最短路径、生成树和连通分量。
• 通过理论分析推导出被保留属性的边界（例如，TR 后的最大基数匹配大小至少为原始值的一半），确保形式化保证。

实验结果

研究问题

• RQ1 如何使有损图压缩在开发人员层面变得实用且可组合，避免低层级并行编程的复杂性？
• RQ2 在视觉相似性之外，有哪些有效且可度量的标准可用于评估有损图压缩的准确性？
• RQ3 有损压缩能否保留关键图属性，如连通分量、最短路径和谱特性？
• RQ4 在不牺牲结果保真度的前提下，有损压缩能在多大程度上减小图的大小并加速图算法？
• RQ5 如何通过统一框架支持在多样化图工作负载上开发、评估和扩展新型有损压缩方案？

主要发现

• Slim Graph 实现了显著的存储压缩——图大小最高可减少 80%，同时保留了连通分量和最小生成树等关键图属性。
• 该框架在压缩图上运行 PageRank 和 SSSP 等图算法时，最高可实现 3.5 倍的速度提升，且结果准确性损失极小。
• Slim Graph 中的新型压缩方法——三角形压缩（TR），保证压缩图中的最大基数匹配（MCM）大小至少为原始 MCM 的一半。
• 如 Kullback-Leibler 散度等统计差异度量能有效量化概率属性中的信息损失，实现精确的准确性评估。
• Slim Graph 支持最大公开可用图（如 Sogou 网页图）的分布式有损压缩，展示了其可扩展性和实际应用价值。
• 理论分析推导出超过 50 个不同压缩方案下被保留属性的边界，为算法保真度提供了形式化保证。