[论文解读] SpecLLM: Exploring Generation and Review of VLSI Design Specification with Large Language Model

Mengming Li, Wenji Fang+2 more|arXiv (Cornell University)|Jan 24, 2024

Machine Learning in Materials Science被引用 5

一句话总结

该论文研究使用大型语言模型（GPT-4）生成并评审VLSI的体系结构规范，建立了46份文档的数据集，并展示从头生成、RTL到规格的转换，以及在HAS/MAS/LAS层面的缺陷感知评审。

ABSTRACT

The development of architecture specifications is an initial and fundamental stage of the integrated circuit (IC) design process. Traditionally, architecture specifications are crafted by experienced chip architects, a process that is not only time-consuming but also error-prone. Mistakes in these specifications may significantly affect subsequent stages of chip design. Despite the presence of advanced electronic design automation (EDA) tools, effective solutions to these specification-related challenges remain scarce. Since writing architecture specifications is naturally a natural language processing (NLP) task, this paper pioneers the automation of architecture specification development with the advanced capabilities of large language models (LLMs). Leveraging our definition and dataset, we explore the application of LLMs in two key aspects of architecture specification development: (1) Generating architecture specifications, which includes both writing specifications from scratch and converting RTL code into detailed specifications. (2) Reviewing existing architecture specifications. We got promising results indicating that LLMs may revolutionize how these critical specification documents are developed in IC design nowadays. By reducing the effort required, LLMs open up new possibilities for efficiency and accuracy in this crucial aspect of chip design.

研究动机与目标

• 为体系结构规范（HAS、MAS、LAS）定义一个结构化的三层分类体系，以标准化在集成电路设计中对LLM的使用。
• 创建并发布一个体系结构规范数据集（约46份文档），以促进该领域的LLM研究。
• 探索LLM辅助生成体系结构规范，包括从零开始编写和RTL到规格的转换。
• 研究基于LLM的体系结构规范评审，识别缺陷类型与提示策略。
• 评估实际挑战并提出用于有效的LLM驱动的规范开发与评审的方法论。

提出的方法

• 提出并形式化三层体系结构规范分类（HAS、MAS、LAS）。
• 组装一个公开的体系结构规范及相关手册数据集（约46份文档），覆盖CPU、SoC、加速器、总线、算术和加密等领域。
• 展示LLM驱动生成：（a）协助设计师编写MAS/LAS，（b）将RTL/Verilog代码转换为相应的规格。
• 定义规格的缺陷分类（印刷错误、不一致、不完整/不清晰、组合逻辑环、未初始化寄存器、跨层次矛盾）。
• 开发提示与工作流，指导LLMs撰写和转换规格，并审阅文献中指定缺陷。
• 比较两种评审方法：整份文档评审，(ii) 按节评审，以提高清晰边界和缺陷检测。

实验结果

研究问题

• RQ1 LLMs 能否根据高层设计师简报或 RTL 代码生成 MAS/LAS 架构规范？
• RQ2 LLMs 能否在保持含义的同时将 RTL 代码转换为详细的架构规范？
• RQ3 LLMs 在HAS、MAS和LAS全层次的架构规范评审缺陷方面有多高的有效性？
• RQ4 哪些提示策略和工作流可在基于LLM的评审中提高清晰边界和缺陷检测？
• RQ5 在将LLMs应用于架构规范任务时有哪些实际局限性与注意事项？

主要发现

• LLMs 可以为简单逻辑电路生成体系结构规范，随着进展有潜力扩展到更复杂的设计。
• 在给定RTL输入约束并引导输出的前提下，GPT-4 可以将RTL/Verilog代码转换为体系结构规范。
• LLMs 可以识别常见缺陷，如印刷错误和不一致，并提供建设性的改进建议。
• 探索了两种评审方法：整份文档评审和按节评审，后者能提供更具体且全面的反馈。
• 对分节输入的评审有助于缓解边界识别问题并提升缺陷覆盖率，尽管仍存在一些边界挑战。
• 编制了约46份公开可用的架构规格数据集，以支持未来基于LLM的架构规格研究。