[论文解读] Twenty (or so) Questions: $D$-ary Bounded-Length Huffman Coding

Michael B. Baer|arXiv (Cornell University)|Feb 25, 2006

Algorithms and Data Compression参考文献 27被引用 1

一句话总结

该论文提出了一种基于 Package-Merge 的算法，时间复杂度为 O(n(lmax − lmin))，空间复杂度为 O(n)，用于在 [lmin, lmax] 的码字长度约束下，计算最优的 D-ary 源编码，以最小化平均码字长度或其他凸编码惩罚。该方法改进了以往的动态规划方法，实现了时间与空间复杂度更低的非二进制长度受限霍夫曼编码。

ABSTRACT

The game of Twenty Questions has long been used to illustrate binary source coding. Recently, a physical device has been developed that mimics the process of playing Twenty Questions, with the device supplying the questions and the user providing the answers. However, this game differs from Twenty Questions in two ways: Answers need not be only “yes” and “no,” and the device continues to ask questions beyond the traditional twenty; typically, at least 20 and at most 25 questions are asked. The nonbinary variation on source coding is one that is well known and understood, but not with such bounds on length. An upper bound on the related property of fringe, the difference between the lengths of the longest and the shortest codewords, has been considered, but no polynomial-time algorithm currently finds optimal fringe-limited codes. An O(n(lmax − lmin))-time O(n)-space Package-Merge-based algorithm is presented here for finding an optimal D-ary (binary or nonbinary) source code with all n codeword lengths (numbers of questions) bounded to be within the interval [lmin, lmax]. This algorithm minimizes average codeword length or, more generally, any other quasiarithmetic convex coding penalty. In the case of minimizing average codeword length, time complexity can often be improved via an alternative graph-based reduction. This has, as a special case, a method for nonbinary length-limited Huffman coding, which was previously solved via dynamic programming with O(n² lmax log D) time and O(n 2 log D) space. These algorithms can also be used to efficiently find a code that is optimal given a limit on fringe.

研究动机与目标

• 解决目前缺乏用于具有有界码字长度的最优 D-ary 源编码的多项式时间算法的问题。
• 在长度约束 [lmin, lmax] 下，最小化平均码字长度或凸编码惩罚。
• 改进现有非二进制长度受限霍夫曼编码的时间与空间复杂度 O(n² lmax log D)。
• 为边界受限编码（即最长与最短码字之间的差异有界）提供高效解法。

提出的方法

• 将 Package-Merge 算法适配至 D-ary 字母表，用于生成具有有界长度的码字。
• 采用基于有界长度区间 [lmin, lmax] 的动态规划框架，以确保满足码字长度约束。
• 应用凸惩罚函数以建模平均码字长度或相关度量。
• 通过利用 Package-Merge 技术的结构，将时间复杂度降低至 O(n(lmax − lmin))，空间复杂度降低至 O(n)。
• 引入一种基于图的归约方法，以在平均长度最小化情况下进一步提升时间复杂度性能。
• 支持二进制与非二进制字母表，推广了以往针对非二进制长度受限编码的研究结果。

实验结果

研究问题

• RQ1 能否在有界码字长度约束 [lmin, lmax] 下高效计算出最优的 D-ary 源编码？
• RQ2 在上述长度限制下，D-ary 编码的最小可实现平均码字长度是多少？
• RQ3 能否将非二进制长度受限霍夫曼编码的时间与空间复杂度降低至 O(n² lmax log D) 以下？
• RQ4 是否存在一种高效方法来计算具有有界边缘（最长与最短码字之间差异）的编码？
• RQ5 Package-Merge 技术能否扩展至具有长度约束的非二进制字母表？

主要发现

• 所提出的算法在有界码字长度约束下，实现了 O(n(lmax − lmin)) 的时间复杂度与 O(n) 的空间复杂度，用于最优 D-ary 编码。
• 该算法在给定长度约束下，能够最小化平均码字长度或任何凸编码惩罚。
• 在平均长度最小化的情况下，通过另一种基于图的归约方法，进一步优化了时间复杂度。
• 该方法可推广至非二进制字母表，解决了此前未解决的问题，并在复杂度上优于动态规划方法。
• 该算法能够高效计算具有有界边缘的最优编码，这一特性此前缺乏高效解决方案。
• 该方法在时间与空间复杂度上均优于以往针对非二进制长度受限霍夫曼编码的 O(n² lmax log D) 方法。