[论文解读] Placement in Integrated Circuits using Cyclic Reinforcement Learning and Simulated Annealing

Dhruv Vashisht, Harshit Rampal+5 more|arXiv (Cornell University)|Nov 15, 2020

VLSI and FPGA Design Techniques被引用 15

一句话总结

该论文提出了一种循环的强化学习（RL）与模拟退火（SA）框架，用于集成电路布局优化，其中RL为SA的局部搜索提供高质量的初始解。与随机初始化的SA相比，该方法在ami49和lattice等基准测试中将平均成本降低了4%–7%，通过学习到的初始化和迭代优化，显著提升了收敛速度和鲁棒性。

ABSTRACT

Physical design and production of Integrated Circuits (IC) is becoming increasingly more challenging as the sophistication in IC technology is steadily increasing. Placement has been one of the most critical steps in IC physical design. Through decades of research, partition-based, analytical-based and annealing-based placers have been enriching the placement solution toolbox. However, open challenges including long run time and lack of ability to generalize continue to restrict wider applications of existing placement tools. We devise a learning-based placement tool based on cyclic application of Reinforcement Learning (RL) and Simulated Annealing (SA) by leveraging the advancement of RL. Results show that the RL module is able to provide a better initialization for SA and thus leads to a better final placement design. Compared to other recent learning-based placers, our method is majorly different with its combination of RL and SA. It leverages the RL model's ability to quickly get a good rough solution after training and the heuristic's ability to realize greedy improvements in the solution.

研究动机与目标

• 解决传统布局工具在先进IC设计中运行时间长、可扩展性差的问题。
• 克服纯启发式或基于优化的布局工具在处理复杂约束和大规模状态空间时的局限性。
• 利用强化学习的泛化能力和经验学习能力，同时结合SA的局部搜索效率。
• 通过RL生成更优的初始解来提升布局质量，减少达到高质量结果所需的SA步数。
• 提升在多样化IC基准测试中的泛化能力，包括具有固定模块和复杂设计规则约束的情况。

提出的方法

• 在自定义的RL环境中使用Sequence Pair表示法对布局问题进行建模，以编码网表和芯片版图状态。
• 在多个训练周期内训练强化学习智能体，生成代表紧凑初始布局的序列对。
• 每次训练周期结束后，使用RL生成的解作为模拟退火阶段的初始解，进行局部优化。
• 循环过程在RL策略更新与SA优化之间交替进行，结合RL的全局探索与SA的局部开发能力。
• RL智能体训练10–15个周期，每个周期200步，每个周期后执行5000步SA优化以精炼解。
• 该框架在两个基准测试上进行评估：ami49（含和不含固定块）以及不同规模（100–625个模块）的lattice问题。

实验结果

研究问题

• RQ1 强化学习智能体能否有效学习生成用于IC布局中模拟退火的高质量初始布局？
• RQ2 将RL与SA结合是否能实现比随机初始化SA更快的收敛速度和更优的最终布局质量？
• RQ3 RL-SA循环框架在不同规模和配置的基准测试中（包括固定块和复杂约束）表现如何？
• RQ4 RL智能体在不同IC版图和设计类型之间具备多大程度的泛化能力？
• RQ5 RL模型能否显著减少达到竞争力布局结果所需的SA步数？

主要发现

• 在100个模块的lattice问题中，RL初始化的平均成本为3,386 µm，而随机初始化为3,532 µm，改善了4.1%。
• 在625个模块的lattice问题中，平均成本从86,064 µm降至85,329 µm，改善了0.85%。
• 在含固定块的ami49基准中，RL初始化的平均成本为49 mm²，而随机初始化为53 mm²，降低了7.5%。
• 在不含固定块的ami49基准中，RL初始化的平均成本为43 mm²，而随机初始化为46 mm²，改善了6.5%。
• RL初始化的性能标准差始终较低（1.41–1.46），而随机初始化为（1.93–1.97），表明其结果更稳定可靠。
• 在相同SA步数下，RL-SA框架实现了更优的布局紧凑性，证明RL提供了更优的局部搜索起点。