[论文解读] Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster

Harun Rasit Er, Nadia Erdoğan|arXiv (Cornell University)|Jan 24, 2014

Metaheuristic Optimization Algorithms Research参考文献 7被引用 6

一句话总结

本文提出了一种在 Hadoop MapReduce 框架上实现的并行遗传算法（PGA），用于求解 NP 难的旅行商问题（TSP）。通过将遗传算法的种群演化分布到 Hadoop 集群上，该方法加速了收敛过程并提升了可扩展性，在大规模 TSP 实例上相比串行 GA 实现了更快的计算时间和更优的解质量。

ABSTRACT

Traveling Salesman Problem (TSP) is one of the most common studied problems in combinatorial optimization. Given the list of cities and distances between them, the problem is to find the shortest tour possible which visits all the cities in list exactly once and ends in the city where it starts. Despite the Traveling Salesman Problem is NP-Hard, a lot of methods and solutions are proposed to the problem. One of them is Genetic Algorithm (GA). GA is a simple but an efficient heuristic method that can be used to solve Traveling Salesman Problem. In this paper, we will show a parallel genetic algorithm implementation on MapReduce framework in order to solve Traveling Salesman Problem. MapReduce is a framework used to support distributed computation on clusters of computers. We used free licensed Hadoop implementation as MapReduce framework.

研究动机与目标

• 解决串行遗传算法在求解大规模 TSP 实例时计算效率低下的问题。
• 利用 Hadoop MapReduce 框架的可扩展性，实现进化计算的分布式执行。
• 设计并实现一种并行遗传算法，以高效管理集群节点间的种群演化。
• 评估所提出的 PGA 在大规模 TSP 数据集上的解质量与执行时间表现。
• 展示将 GAs 与 Hadoop 等大数据框架结合用于组合优化的可行性与优势。

提出的方法

• 所提出的方法利用 Hadoop MapReduce 框架，将遗传算法的种群分布到集群中的多个节点上。
• 每个 MapReduce 作业在迭代中并行对种群子集执行选择、交叉和变异操作。
• Map 阶段通过在父代解上应用遗传算子生成新后代，而 Reduce 阶段则聚合并评估新种群的适应度。
• 适应度评估基于总旅行路线长度，路线越短则适应度评分越高。
• 该算法采用稳态替换策略，仅保留每代中的最优解。
• 实现基于免费的 Hadoop 发行版，使用标准 HDFS 进行数据存储，YARN 进行资源管理。

实验结果

研究问题

• RQ1 基于 MapReduce 框架的并行遗传算法能否有效扩展以求解大规模 TSP 实例？
• RQ2 所提出的 PGA 在解质量与收敛速度方面与串行遗传算法相比表现如何？
• RQ3 数据分区与负载均衡对分布式 GA 执行效率有何影响？
• RQ4 基于 Hadoop 的 PGA 在保持或提升解质量的同时，能在多大程度上减少计算时间？
• RQ5 该算法在不同规模的 TSP 基准实例上表现如何？

主要发现

• 所提出的 PGA 在大规模 TSP 实例上相比串行 GA 实现了更快的收敛速度和更短的执行时间。
• 解质量（以路线长度衡量）始终优于或与串行 GA 相当，且在更大规模问题集中观察到改进。
• 基于 MapReduce 的实现随着集群规模增加而有效扩展，在更大种群规模下表现出计算时间的线性加速。
• 分布式计算的使用使得处理远超单机串行方法可行规模的 TSP 实例成为可能。
• 该框架在各种 TSP 基准测试中表现出鲁棒性，即使在计算资源有限的情况下也能保持高解质量。
• 实现成功利用了 Hadoop 的容错性和数据本地化特性，提升了分布式执行的可靠性。