[论文解读] Tree Compression with Top Trees Revisited

Lorenz Hübschle-Schneider, Rajeev Raman|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2015

Algorithms and Data Compression参考文献 1被引用 7

一句话总结

本文重新探討使用頂樹的樹壓縮，引入受RePair啟發的啟發式演算法來引導叢集合併，顯著減少儲存的資訊量，並提升壓縮速度與壓縮比。該方法在不需解壓縮的情況下，實現對壓縮表示的對數時間導航，其最壞情況下的壓縮比僅比資訊理論最佳值低一個 log log 因子。

ABSTRACT

We revisit tree compression with top trees (Bille et al, ICALP'13) and present several improvements to the compressor and its analysis. By significantly reducing the amount of information stored and guiding the compression step using a RePair-inspired heuristic, we obtain a fast compressor achieving good compression ratios, addressing an open problem posed by Bille et al. We show how, with relatively small overhead, the compressed file can be converted into an in-memory representation that supports basic navigation operations in worst-case logarithmic time without decompression. We also show a much improved worst-case bound on the size of the output of top-tree compression (answering an open question posed in a talk on this algorithm by Weimann in 2012).

研究动机与目标

• 透過提升壓縮速度與壓縮比，回應Bille等人（2012）提出的頂樹壓縮實用性問題。
• 減少頂樹建構過程中儲存的資訊量，以提升效率。
• 在不需解壓縮的情況下，實現對壓縮樹表示的高效導航，支援O(log n)時間內的作業。
• 提供壓縮輸出大小的更緊緻最壞情況界，解決Weimann於2012年演講中提出的開放問題。
• 證明頂樹壓縮是現有樹壓縮工具的可行、快速且彈性替代方案，並具備可證明的性能界限。

提出的方法

• 引入受RePair啟發的啟發式演算法，用以引導頂樹中叢集合併的順序，優先處理常見的子樹模式。
• 使用合併器來表示與合併叢集，以最小化重複並提升壓縮效率。
• 設計頂DAG的壓縮內存表示，使其能在不需解壓縮的情況下，以O(log n)時間支援導航作業（例如：父節點、子節點、深度）。
• 透過兩棵生成樹的分解方式優化頂DAG的編碼，以減少空間使用並提升記憶體局部性。
• 採用自底向上的合併策略，並由頻率啟發式引導，以最大化共享子樹模式的重用。
• 提出理論分析，顯示最壞情況下的壓縮比僅比資訊理論下界低一個 log log σ n_T 因子。

实验结果

研究问题

• RQ1 能否透過啟發式引導的叢集合併，使頂樹壓縮變得實用且高效？
• RQ2 使用頂樹時，壓縮輸出大小的最緊緻可能最壞情況界為何？
• RQ3 是否能在不需解壓縮的情況下，以對數時間高效導航壓縮的頂DAG？
• RQ4 與原始頂樹方法相比，RePair啟發式合併如何提升壓縮比與速度？
• RQ5 頂樹的結構在多大程度上影響壓縮比？此影響能否被建模或預測？

主要发现

• RePair啟發式演算法減少頂樹建構過程中儲存的資訊量，進而提升壓縮速度與壓縮比。
• 最壞情況下的壓縮比僅比資訊理論下界低一個 log log σ n_T 因子，回答了Weimann（2012）提出的開放問題。
• 壓縮的頂DAG能在不需解壓縮的情況下，以O(log n)時間支援導航作業（例如：父節點、子節點、深度），實現高效的內存處理。
• 實驗結果顯示，TopTrees與TT+RePair在速度上優於RePair與TreeRePair，且TT+RePair在隨機樹上達成接近理論最佳值的壓縮比。
• 該方法實現顯著的加速效果：例如，壓縮dblp檔案時，TopTrees僅需6.00秒，而TreeRePair需45.72秒，且壓縮比仍具競爭力。
• 內存表示的大小最多可比標準DOM表示小16倍，適用於主記憶體中的大規模樹處理。