[论文解读] Predicting Dynamic Replication based on Fuzzy System in Data Grid

Mahnaz Khojand, Mehdi Fatan Serj+2 more|arXiv (Cornell University)|Apr 9, 2018

Distributed and Parallel Computing Systems参考文献 13被引用 3

一句话总结

本文提出预测性模糊复制（PFR），一种用于数据网格的动态复制算法，利用模糊推理系统预测未来的文件访问模式，并根据历史使用情况、文件大小、站点级别和可用存储空间，主动将文件复制到最优站点。PFR通过预先复制文件并删除未使用的副本，提高了响应速度并减少了资源浪费，在效率上优于级联方法。

ABSTRACT

Data grid replication is an effective method to achieve efficient and fault tolerant data access while reducing access latency and bandwidth consumption in grids. Since we have storage limitation, a replica should be created in the best site. Through evaluation of previously suggested algorithms, we understand that by blind creation of replications on different sites after each demand, we may be able to improve algorithm regarding response time. In practice, however, most of the created replications will never be used and existing resources in Grid will be wasted through the creation of unused replications. In this paper, we propose a new dynamic replication algorithm called Predictive Fuzzy Replication (PFR). PFR not only redefines the Balanced Ant Colony Optimization (BACO) algorithm, which is used for job scheduling in grids, but also uses it for replication in appropriate sites in the data grid. The new algorithm considers the history usage of files, files size, the level of the sites and free available space for replication and tries to predict future needs and pre replicates them in the resources that are more suitable or decides which replica should be deleted if there is not enough space for replicating. This algorithm considers the related files of the replicated file and replicates them considering their own history. PFR acts more efficiently than Cascading method, which is one of the algorithms in optimized use of existing replicas.

研究动机与目标

• 解决数据网格中反应式复制的低效问题，即未使用的副本会消耗存储空间和带宽。
• 通过基于预测需求主动放置副本，减少响应时间和带宽消耗。
• 在存储受限时，通过智能删除未使用的副本，最小化资源浪费。
• 通过引入预测智能，改进现有复制策略（如级联方法）。
• 通过结合模糊逻辑与平衡蚁群优化（BACO）的混合方法，提升副本放置决策的智能化水平。

提出的方法

• PFR采用模糊推理系统评估关键因素：历史文件访问频率、文件大小、站点级别（优先级）以及可用空闲空间。
• 系统预测文件及其相关文件的未来访问需求，从而实现主动复制。
• 复制决策由模糊逻辑引擎执行，将输入变量（使用历史、文件大小、站点级别、空闲空间）映射为复制评分。
• 该算法集成BACO以优化副本放置，平衡负载并最小化访问延迟。
• 系统考虑文件间的依赖关系，根据其自身访问历史和预测需求，复制相关文件。
• 当存储不足时，PFR利用模糊系统基于访问可能性和站点优先级，决定删除哪个副本。

实验结果

研究问题

• RQ1 如何改进数据网格中的动态复制，以减少响应时间和带宽消耗？
• RQ2 应考虑哪些因素来预测未来的文件访问模式并实现主动复制？
• RQ3 模糊逻辑如何有效建模存储约束、文件访问频率与站点能力之间的权衡？
• RQ4 将BACO与模糊逻辑结合，如何在副本放置决策方面优于现有方法？
• RQ5 所提出的PFR算法在效率和资源利用率方面与级联复制方法相比表现如何？

主要发现

• PFR通过基于预测访问模式主动将副本放置在高需求站点，显著降低响应时间。
• 该算法大幅减少了未使用副本的数量，最小化了存储浪费和带宽开销。
• 在动态和高负载的网格环境中，PFR在效率方面优于级联方法。
• 模糊逻辑与BACO的结合，使副本放置决策更加智能和自适应。
• 通过考虑相关文件及其访问历史，PFR提升了依赖工作负载的数据可用性和访问性能。
• 当存储空间有限时，系统通过智能删除低潜力副本，有效管理了存储约束。