[论文解读] Optimal Document Exchange and New Codes for Small Number of Insertions and Deletions.

Bernhard Haeupler|arXiv (Cornell University)|Apr 10, 2018

Algorithms and Data Compression被引用 13

一句话总结

本文提出了一种通信最优的文档交换协议，可为任意n比特文件计算出一个O(k log(n/k))-比特的摘要，从而实现从最多k次编辑操作（插入/删除）的文件中重建原始文件。该协议在所有k值下均达到信息论最优的摘要大小，解决了Orlitsky提出的一个开放问题，并构造出冗余度为O(k log²(n/k))的近最优纠错码，适用于k次插入/删除操作。

ABSTRACT

This paper gives a communication-optimal document exchange protocol and an efficient near optimal derandomization. This also implies drastically improved error correcting codes for small number of adversarial insertions and deletions. For any $n$ and $k < n$ our randomized hashing scheme takes any $n$-bit file $F$ and computes a $O(k \log \frac{n}{k})$-bit summary from which one can reconstruct $F$ given a related file $F'$ with edit distance $ED(F,F') \leq k$. The size of our summary is information-theoretically order optimal for all values of $k$, positively answering a question of Orlitsky. It also is the first non-trivial solution when a small constant fraction of symbols have been edited, producing an optimal summary of size $O(H(\delta)n)$ for $k=\delta n$. This concludes a long series of better-and-better protocols which produce larger summaries for sub-linear values of $k$. In particular, the recent break-through of [Belazzougi, Zhang; STOC'16] assumes that $k < n^\epsilon$ and produces a summary of size $O(k\log^2 k + k\log n)$. We also give an efficient derandomization with near optimal summary size $O(k \log^2 \frac{n}{k})$ improving, for every $k$, over a deterministic $O(k^2 + k \log^2 n)$ document exchange scheme by Belazzougi. This directly leads to near optimal systematic error correcting codes which efficiently can recover from any $k$ insertions and deletions while having $\Theta(k \log^2 \frac{n}{k})$ bits of redundancy. For the setting of $k=n\epsilon$ this $O(\epsilon \log^2 \frac{1}{\epsilon} \cdot n)$-bit redundancy is near optimal and a quadratic improvement over the binary codes of Guruswami and Li and Haeupler, Shahrasbi and Vitercik which have redundancy $\Theta\left(\sqrt{\epsilon} \log^{O(1)} \frac{1}{\epsilon} \cdot n ight)$.

研究动机与目标

• 设计一种针对最多k次编辑操作的文件的通信最优文档交换协议。
• 解决Orlitsky关于小k值下摘要大小信息论最优性的开放问题。
• 实现一种高效去随机化的随机哈希方案，保持近最优的摘要大小。
• 构建对k次插入和删除具有鲁棒性的近最优系统化纠错码。
• 在冗余度为O(k log²(n/k))的前提下，优于先前确定性方案的O(k² + k log² n)冗余度。

提出的方法

• 使用随机哈希方案从n比特文件F生成大小为O(k log(n/k))的摘要。
• 采用一种新颖的去随机化技术，实现近最优的摘要大小O(k log²(n/k))，且不依赖于随机性。
• 利用编辑距离和组合哈希的性质，确保从任意满足ED(F, F') ≤ k的文件F'中实现重建。
• 将文档交换协议应用于构造冗余度为O(k log²(n/k))的系统化纠错码。
• 利用编辑距离的结构和信息论界，证明摘要大小的最优性。
• 提出一种新框架，用于处理小常数比例的编辑操作（k = δn），摘要大小为O(H(δ)n)。

实验结果

研究问题

• RQ1 文档交换协议是否能在所有k值下实现信息论最优的摘要大小，包括n的次线性及常数比例？
• RQ2 是否存在一种对随机哈希方案的去随机化方法，同时保持近最优的摘要大小？
• RQ3 文档交换协议能否用于构造插入和删除操作下的近最优纠错码？
• RQ4 对于k = δn，所构造码的冗余度与先前确定性构造相比如何？
• RQ5 纠正k次插入和删除所需的最小冗余度是多少？能否高效实现？

主要发现

• 所提出的协议实现了O(k log(n/k))-比特的摘要大小，对所有k < n而言均为信息论最优。
• 当k = δn且δ为常数时，摘要大小为O(H(δ)n)，与信息论下界一致。
• 去随机化方案实现了O(k log²(n/k))的摘要大小，优于先前确定性方案的O(k² + k log² n)。
• 所构造的纠错码具有O(k log²(n/k))的冗余度，对k = δn而言为近最优，相较于先前的二进制码实现了二次改进。
• 该协议解决了Orlitsky关于小编辑距离下摘要大小最优性的开放问题。
• 该方案是首个针对常数比例编辑操作（k = δn）实现最优摘要大小的非平凡解法。