[论文解读] On Heterogeneous Regenerating Codes and Capacity of Distributed Storage Systems

Krishna Gopal Benerjee, Manish K. Gupta|arXiv (Cornell University)|Feb 16, 2014

Advanced Data Storage Technologies参考文献 18被引用 4

一句话总结

本文提出了一种异构分布式存储系统（DSS）的容量公式，其中节点具有不同的存储容量和修复带宽。通过分析存储与修复带宽之间的权衡，推导出新的最小存储再生（MSR）和最小带宽再生（MBR）点，这些点在某些配置下优于传统的同构DSS，展示了在云存储和对等系统等实际应用中的更高效率。

ABSTRACT

Heterogeneous Distributed Storage Systems (DSS) are close to real world applications for data storage. Internet caching system and peer-to-peer storage clouds are the examples of such DSS. In this work, we calculate the capacity formula for such systems where each node store different number of packets and each having a different repair bandwidth (node can be repaired by contacting a specific set of nodes). The tradeoff curve between storage and repair bandwidth is studied for such heterogeneous DSS. By analyzing the capacity formula new minimum bandwidth regenerating (MBR) and minimum storage regenerating (MBR) points are obtained on the curve. It is shown that in some cases these are better than the homogeneous DSS.

研究动机与目标

• 建立并分析具有非均匀节点存储容量和修复带宽的异构分布式存储系统（DSS）的容量模型。
• 推导出每个节点具有独立存储容量αᵢ和修复度dᵢ的DSS容量公式，且修复时固定下载β个数据包。
• 在异构DSS的存储-带宽权衡曲线上，识别出新的最优权衡点——MSR和MBR点。
• 证明这些新MSR和MBR点在存储效率和带宽效率方面可优于经典同构DSS。
• 为设计适用于真实世界异构存储系统的高效再生码提供理论基础。

提出的方法

• 构建一个包含n个节点的异构DSS模型，每个节点具有独特的存储容量αᵢ和修复度dᵢ，文件重构需要k个节点参与。
• 应用网络编码中的最小割不等式，推导容量上界，考虑每个节点Uᵢ的所有可能存活集合Sᵢ^(ℓ)。
• 利用关系式：B ≤ min{∑ᵢ₌₁ᵏ |ηⱼ* \ ∪ₗ₌₀^{j-1} {Uₗ}| β}（j=1至k），在αᵢ和dᵢβ的约束下推导容量公式。
• 通过在约束β ≤ B / (k × min{|ηⱼ* \ ∪ₗ₌₀^{j-1} {Uₗ}|})下最小化总存储∑αᵢ，建立MSR点。
• 通过在约束αᵢ ≥ max{|ηⱼ* \ ∪ₗ₌₀^{j-1} {Uₗ}|} β（对所有i）下最小化总修复带宽∑dᵢβ，建立MBR点。
• 验证当所有αᵢ和dᵢ相等时，经典同构DSS的MSR和MBR点是所提框架的特例。

实验结果

研究问题

• RQ1 具有非均匀节点存储容量和修复带宽的异构DSS的理论容量是多少？
• RQ2 与同构DSS相比，异构DSS的存储-带宽权衡曲线有何不同？
• RQ3 能否推导出在存储或带宽效率方面优于经典同构DSS的新MSR和MBR点？
• RQ4 异构DSS中最小修复带宽和最小存储受哪些约束？
• RQ5 所提出的容量公式如何用于设计适用于真实世界存储系统的高效再生码？

主要发现

• 异构DSS的容量受最小割不等式的约束，最大文件大小B受重构过程中从存活集合下载的数据包数最小值限制。
• 对于MSR点，当α₁ ≤ α₂ ≤ … ≤ αₖ时，最优节点存储量为αⱼ = B/k，且β = B / (k × min{|ηⱼ* \ ∪ₗ₌₀^{j-1} {Uₗ}|})（j=1至k）。
• 对于MBR点，β = B / (∑ⱼ₌₁ᵏ |ηⱼ* \ ∪ₗ₌₀^{j-1} {Uₗ}|)，且对所有i有αᵢ = B dᵢ / (∑ⱼ₌₁ᵏ |ηⱼ* \ ∪ₗ₌₀^{j-1} {Uₗ}|)，以确保最小修复带宽。
• 在(6,2)异构DSS示例中，B=3时，MSR点实现αⱼ = 1.5和β = 1.5（j ∈ {1,2,3,5,6}），而MBR点实现αⱼ = 2和β = 1。
• 在特定配置下，新MSR和MBR点可优于同构DSS，尤其当利用节点异构性以减少总存储或修复带宽时。
• 当所有αᵢ和dᵢ相等时，经典同构DSS的MSR和MBR点被证明是所提框架的特例。