[论文解读] Storage codes -- coding rate and repair locality

Henk D. L. Hollmann|arXiv (Cornell University)|Jan 18, 2013

Advanced Data Storage Technologies参考文献 19被引用 4

一句话总结

该论文在功能修复下建立了分布式存储码存储开销的信息论下限，表明当修复局部性 $ r $ 固定时，最大编码速率 $ R $ 受限于 $ r/(r+1) $（若 $ \alpha = \beta $），或受限于 $ 1/2 $（若 $ \alpha = r\beta $）。这些界限是紧致的，并推广了已知的MDS码与精确修复码的极限。

ABSTRACT

The {\em repair locality} of a distributed storage code is the maximum number of nodes that ever needs to be contacted during the repair of a failed node. Having small repair locality is desirable, since it is proportional to the number of disk accesses during repair. However, recent publications show that small repair locality comes with a penalty in terms of code distance or storage overhead if exact repair is required. Here, we first review some of the main results on storage codes under various repair regimes and discuss the recent work on possible (information-theoretical) trade-offs between repair locality and other code parameters like storage overhead and code distance, under the exact repair regime. Then we present some new information theoretical lower bounds on the storage overhead as a function of the repair locality, valid for all common coding and repair models. In particular, we show that if each of the $n$ nodes in a distributed storage system has storage capacity $\ga$ and if, at any time, a failed node can be {\em functionally} repaired by contacting {\em some} set of $r$ nodes (which may depend on the actual state of the system) and downloading an amount $\gb$ of data from each, then in the extreme cases where $\ga=\gb$ or $\ga = r\gb$, the maximal coding rate is at most $r/(r+1)$ or 1/2, respectively (that is, the excess storage overhead is at least $1/r$ or 1, respectively).

研究动机与目标

• 研究在功能修复下，分布式存储系统中编码速率与修复局部性之间的基本权衡。
• 推导出以修复局部性 $ r $ 为变量的存储开销信息论下限，适用于常见的编码与修复模型。
• 通过证明 $ \alpha = \beta $ 和 $ \alpha = r\beta $ 极端情况下的紧致界限，弥合已知构造与理论极限之间的差距。
• 将割集界限框架推广至允许在节点修复过程中自适应选择修复集，建模 KILLER 与 BUILDER 之间的博弈论交互。
• 在功能修复且修复集选择可变的条件下，提供最大可实现编码速率 $ R = m/(n\alpha) $ 的紧致上界。

提出的方法

• 将修复过程形式化为 KILLER（负责删除节点）与 BUILDER（通过联系 $ r $ 个正常节点创建新节点）之间的博弈，建立信息流网络模型。
• 在动态演化的信息流图上应用最大流最小割定理，推导出可存储信息量 $ m $ 的上界。
• 采用 [4] 中的割集界限框架，但将其扩展以支持动态修复集选择，即在修复过程中可自适应选择 $ r $ 个中继节点。
• 通过博弈论分析，推导出在两种极端情况 $ \alpha = \beta $ 与 $ \alpha = r\beta $ 下的最大编码速率 $ R = m/(n\alpha) $ 的界限。
• 证明在 $ \alpha = \beta $ 情况下，$ R \leq r/(r+1) $；在 $ \alpha = r\beta $ 情况下，$ R \leq 1/2 $，且等式可通过已知构造实现。
• 将结果推广至 $ r = 2 $ 的情形，推导出更紧的界限 $ R \leq (\alpha + \beta)/(3\alpha) $，并给出当 $ n = 3q - e $ 时 $ m \leq q\alpha + (q-e)\beta $ 的精确表达式。

实验结果

研究问题

• RQ1 在功能修复与修复局部性 $ r $ 固定的分布式存储系统中，当每个节点的存储量 $ \alpha $ 与每个中继节点的修复带宽 $ \beta $ 受限于时，最大可实现编码速率 $ R $ 是多少？
• RQ2 在极端情况 $ \alpha = \beta $ 与 $ \alpha = r\beta $ 下，编码速率 $ R $ 如何变化？这些界限是否紧致？
• RQ3 割集界限能否推广至支持自适应修复集选择（即动态选择 $ r $ 个中继节点）？这对速率界限有何影响？
• RQ4 在功能修复系统中，修复局部性 $ r $、存储开销与码距之间是否存在根本性权衡？
• RQ5 能否推导出适用于所有常见编码与修复模型（包括修复集可变的功能修复）的信息论界限？

主要发现

• 在 $ \alpha = \beta $ 情况下，最大编码速率受限于 $ R \leq r/(r+1) $，且该界限是紧致的，由 $ n = r + 1 $ 的精确修复MDS码实现。
• 在 $ \alpha = r\beta $ 情况下，最大编码速率受限于 $ R \leq 1/2 $，且该界限是紧致的，由精确修复传输线性码实现。
• 当 $ r = 2 $ 时，编码速率满足 $ R \leq (\alpha + \beta)/(3\alpha) $，且当 $ n = 3q - e $（$ e \in \{0,1,2\} $）时，最大存储信息量为 $ m \leq q\alpha + (q - e)\beta $。
• 这些界限在信息论上是紧致的，适用于所有功能修复模型，无论修复集是固定还是自适应选择。
• 结果推广了先前工作，表明即使在自适应中继选择下，修复局部性与编码速率之间的权衡仍由信息流网络结构根本性地限制。
• KILLER 与 BUILDER 的博弈论模型证实，所推导的界限代表了在最优对抗性节点失效与自适应修复策略下，任何信息流网络的最坏情况容量。