[论文解读] Results on the Fundamental Gain of Memory-Assisted Universal Source Coding

Ahmad Beirami, Mohsen Sardari+1 more|arXiv (Cornell University)|May 19, 2012

Algorithms and Data Compression参考文献 11被引用 4

一句话总结

本文提出了一种基于记忆的通用信源编码方法，利用先前记忆的序列来减少有限长度数据压缩中的冗余。通过将上下文记忆与基于MDL的聚类方法结合用于复合信源，该方法在短至中等长度序列上相较于传统通用压缩方法实现了高达6倍的性能提升。

ABSTRACT

Many applications require data processing to be performed on individual pieces of data which are of finite sizes, e.g., files in cloud storage units and packets in data networks. However, traditional universal compression solutions would not perform well over the finite-length sequences. Recently, we proposed a framework called memory-assisted universal compression that holds a significant promise for reducing the amount of redundant data from the finite-length sequences. The proposed compression scheme is based on the observation that it is possible to learn source statistics (by memorizing previous sequences from the source) at some intermediate entities and then leverage the memorized context to reduce redundancy of the universal compression of finite-length sequences. We first present the fundamental gain of the proposed memory-assisted universal source coding over conventional universal compression (without memorization) for a single parametric source. Then, we extend and investigate the benefits of the memory-assisted universal source coding when the data sequences are generated by a compound source which is a mixture of parametric sources. We further develop a clustering technique within the memory-assisted compression framework to better utilize the memory by classifying the observed data sequences from a mixture of parametric sources. Finally, we demonstrate through computer simulations that the proposed joint memorization and clustering technique can achieve up to 6-fold improvement over the traditional universal compression technique when a mixture of non-binary Markov sources is considered.

研究动机与目标

• 解决有限长度序列通用压缩中由于固有冗余导致的根本性能差距问题。
• 探究在中间节点记忆信源统计特性是否能为传统通用压缩带来根本性增益。
• 开发一种聚类技术，以有效利用记忆信息，当信源为参数模型混合时（即复合信源）。
• 表征联合记忆与聚类在基于记忆的压缩中的理论与实际增益。
• 通过实验证明一种快速的基于MDL的聚类算法在有限长度场景下提升压缩效率的有效性。

提出的方法

• 提出一种基于记忆的通用信源编码框架，其中中间节点记忆过往序列，以指导新序列的压缩。
• 将信源建模为参数信源（如马尔可夫信源）的复合混合模型，以反映现实世界的内容生成器。
• 提出一种基于最小描述长度（MDL）原理的聚类算法，用于将内存中相似的序列分组，以实现高效的上下文学习。
• 通过在聚类间迭代交换序列以最小化总描述长度，从而提升压缩效率。
• 采用上下文树加权（CTW）方法进行通用压缩，并在多次运行中评估性能。
• 推导出复合信源下记忆增益的理论下界，并通过仿真验证。

实验结果

研究问题

• RQ1 对同一信源的过往序列进行记忆，是否能在有限长度序列的通用压缩中带来根本性增益？
• RQ2 记忆增益如何随序列长度 $n$ 和内存大小 $m$ 变化？
• RQ3 与无聚类的记忆相比，联合记忆与聚类在复合信源上的性能提升如何？
• RQ4 如何有效实现聚类，以在基于记忆的信源编码中最大化压缩增益？
• RQ5 基于MDL的聚类在多大程度上逼近最优的联合记忆与聚类增益？

主要发现

• 对于单一参数信源，记忆机制可带来显著增益，在 $n = 128$ kB 且 $m = 8$ MB 时，压缩率提升超过50%。
• 理论分析表明，随着 $n \to \infty$，记忆增益趋于零，这与渐近情形下的预期一致。
• 对于包含 $\mathcal{K} = 10$ 个非二元马尔可夫信源的复合信源，联合记忆与聚类方法相较传统通用压缩最多可实现6倍的性能提升。
• 基于MDL的聚类方法能非常接近最优联合记忆与聚类增益，$g_{\text{MDL}}$ 在测试的序列长度范围内均在 $g_{\text{CM}}$ 的 0.94 至 0.998 之间。
• 若无聚类，基于记忆的压缩性能可能反而劣于传统通用压缩，这验证了在复合信源中聚类的必要性。
• 仿真结果表明，当 $n = 100$ KB 且 $m = 10$ MB 时，$g_{\text{MDL}}$ 达到 1.8862，表明即使在中等长度序列下，性能增益依然显著。