[论文解读] On Maximally Recoverable Local Reconstruction Codes

Sivakanth Gopi, Venkatesan Guruswami+1 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Data Storage Technologies被引用 8

一句话总结

该论文首次建立了最大可恢复本地重构码（MR LRCs）所需域大小的超线性下界，表明当常数 $ a $ 和 $ h $ 固定时，随着 $ r $ 增大，域大小 $ q $ 必须至少为 $ \Omega_{a,h}(n \cdot r^{\min\{a,h-2\}}) $。此外，该文为 $ h=2 $ 提供了最优构造，为 $ h=3 $ 提供了改进的构造，推动了 MR LRCs 的实际可行性。

ABSTRACT

In recent years the explosion in the volumes of data being stored online has resulted in distributed storage systems transitioning to erasure coding based schemes. Local Reconstruction Codes (LRCs) have emerged as the codes of choice for these applications. An $(n,r,h,a,q)$-LRC is a $q$-ary code, where encoding is as a two stage process. In the first stage, $h$ redundant parity symbols are generated from $k$ data symbols. In the second stage, the $k+h$ symbols are partitioned into sets of size $r-a$ and each set is extended with $a$ redundant symbols using an MDS code to form a local group. Local groups ensure that when at most $a$ coordinates are erased, any missing coordinate can be recovered by accessing at most $r-a$ symbols. Also, if a larger number of coordinates is erased; then missing symbols can be recovered by potentially accessing all remaining symbols. An $(n,r,h,a,q)$-LRC code as above is Maximally Recoverable (MR), if it corrects all erasure patterns which are information theoretically correctable given the presence of local groups. Obtaining MR LRCs over finite fields of minimal size is important in practice and has been the goal of a line of work in coding theory. In this work we make progress towards this goal. In particular, we show that when $a$ and $h$ are constant and $r$ may grow, for every maximally recoverable LRC, $q\geq \Omega_{a,h}\left(n\cdot r^{\min\{a,h-2\}} ight).$ Prior to our work, there was no super-linear lower bound known on the field size of MR LRCs for any setting of parameters. We also give an optimal construction when there are two global parities ($h=2$) and improve existing constructions when there are three global parities ($h=3$).

研究动机与目标

• 为填补在小 $ a $ 和 $ h $ 条件下对最大可恢复本地重构码（MR LRCs）所需最小域大小的理解空白，特别是在实际应用场景中。
• 在 $ a $ 和 $ h $ 为常数且 $ r $ 增大时，建立 MR LRCs 域大小 $ q $ 的理论下界。
• 为两个全局奇偶校验位（$ h=2 $）的情形提供 MR LRCs 的最优构造，以及为三个全局奇偶校验位（$ h=3 $）的情形提供改进的构造。
• 解决长期存在的最小化 MR LRCs 域大小的问题，这对在分布式存储系统中实现高效部署至关重要。

提出的方法

• 通过组合与代数技术推导出 MR LRCs 域大小 $ q $ 的下界，重点分析本地组可纠正的删除模式结构。
• 分析域大小对全局奇偶校验位数 $ h $、本地组大小 $ r $ 和本地奇偶校验位数 $ a $ 的依赖关系，表明当 $ a $ 和 $ h $ 固定时，域大小对 $ r $ 呈超线性依赖。
• 通过利用 MDS 码的性质和精心设计的校验矩阵，为 $ h=2 $ 构造出最优的 MR LRCs，以实现最小域大小。
• 通过优化全局奇偶校验位的排列方式并提升码对所有理论上可纠正的删除模式的纠错能力，改进了现有 $ h=3 $ 的构造。
• 将问题约化为避免码的校验矩阵中出现某些线性依赖关系，这些依赖关系必须在所有可纠正的删除模式中保持不变。
• 应用极值组合学与秩论证，证明任何 MR LRC 都必须要求域大小以 $ \Omega_{a,h}(n \cdot r^{\min\{a,h-2\}}) $ 的速度增长。

实验结果

研究问题

• RQ1 当局部组大小 $ r $ 增大时，对于常数 $ a $ 和 $ h $，MR LRC 所需的最小域大小 $ q $ 是多少？
• RQ2 在任何参数范围内，是否可以为 MR LRCs 建立域大小的超线性下界？
• RQ3 当恰好存在两个全局奇偶校验位（$ h=2 $）时，是否可以构造出最优的 MR LRCs？
• RQ4 如何在域大小和效率方面改进现有针对三个全局奇偶校验位（$ h=3 $）的 MR LRCs 构造？
• RQ5 哪些结构约束限制了 MR LRCs 的域大小？这些约束如何依赖于 $ a $、$ h $ 和 $ r $？

主要发现

• 该论文首次建立了 MR LRCs 域大小的超线性下界，表明当 $ a $ 和 $ h $ 为常数且 $ r $ 增大时，$ q \geq \Omega_{a,h}(n \cdot r^{\min\{a,h-2\}}) $。
• 对于两个全局奇偶校验位（$ h=2 $）的情形，该文提供了达到最小可能域大小的最优构造。
• 该 $ h=2 $ 构造被证明是最优的，意味着无法用更小的域大小支持相同参数的 MR LRC。
• 对于三个全局奇偶校验位（$ h=3 $），该文通过减少所需域大小，同时保持最大可恢复性，改进了现有构造。
• 该下界是紧的，因为在 $ h=2 $ 情况下，其域大小增长速度与已知构造一致，从而确认了该构造的最优性。
• 结果表明域大小必须以超过线性的方式随 $ r $ 增大，从而解决了编码理论中长期存在的开放问题。