[论文解读] RTLCoder: Outperforming GPT-3.5 in Design RTL Generation with Our Open-Source Dataset and Lightweight Solution

Shang Liu, Wenji Fang+4 more|arXiv (Cornell University)|Dec 14, 2023

Advanced Data Storage Technologies被引用 9

一句话总结

RTLCoder 提供了一个 7B 开源大模型和一个新的 RTL（Verilog）数据集，在 RTL 生成基准测试中超越 GPT-3.5，甚至在 VerilogEval Machine 上超越 GPT-4，同时经 4 位量化后在笔记本电脑上也能运行，十分轻量。

ABSTRACT

The automatic generation of RTL code (e.g., Verilog) using natural language instructions and large language models (LLMs) has attracted significant research interest recently. However, most existing approaches heavily rely on commercial LLMs such as ChatGPT, while open-source LLMs tailored for this specific design generation task exhibit notably inferior performance. The absence of high-quality open-source solutions restricts the flexibility and data privacy of this emerging technique. In this study, we present a new customized LLM solution with a modest parameter count of only 7B, achieving better performance than GPT-3.5 on all representative benchmarks for RTL code generation. Especially, it outperforms GPT-4 in VerilogEval Machine benchmark. This remarkable balance between accuracy and efficiency is made possible by leveraging our new RTL code dataset and a customized LLM algorithm, both of which have been made fully open-source.

研究动机与目标

• 促使对自然语言更优 RTL（Verilog）代码生成的研究，同时优先使用开放数据和隐私保护。
• 开发一个面向 RTL 设计任务、开源、轻量级的 LLM，具备强大性能。
• 提供一个量化模型，使其可以在笔记本电脑上运行且质量损失较小。
• 提供一个可重复使用的开放数据集，以推动在 RTL 设计生成方面的进一步研究。

提出的方法

• 提出一个定制的 7B 开源 LLM，专为 RTL 生成而定制。
• 创建并使用一个新的 RTL Verilog 数据集来训练和评估 RTL 代码生成。
• 对模型应用 4-bit 量化，在保持性能的同时实现 4GB 的体积。
• 在标准 RTL 生成任务（包括 VerilogEval Machine）上对 RTLCoder 与 GPT-3.5 和 GPT-4 进行基准测试。
• 公开发布数据集和模型，以实现隐私保护的本地使用。

实验结果

研究问题

• RQ1 一个小型、开源的 LLM 能否在自动 RTL（Verilog）生成任务中超越 GPT-3.5？
• RQ2 RTL 专用微调和专用数据集是否能在 VerilogEval 基准测试上带来相较于通用 LLM 的提升？
• RQ3 在笔记本上实际使用时，4-bit 量化的 RTL 生成器是否可行，且降级极小？
• RQ4 与云端解决方案相比，开源 RTL 数据集和模型是否提升隐私保护的设计工作流？],
• RQ5 key_findingsUXS1

主要发现

• RTLCoder 具有 7B 参数量，在研究中包含的所有具有代表性的 RTL 代码生成基准测试中均超过 GPT-3.5。
• RTLCoder 还在 VerilogEval Machine 基准测试中超越 GPT-4。
• 该模型可以量化为 4-bit，总大小为 4GB，仍然可以在单台笔记本上运行，且性能下降很小。
• 作者发布了一个开放的 RTL 代码数据集和一个完全开源的解决方案，以提升硬件设计任务的灵活性和隐私性。
• 该方法在本地 RTL 生成方面展示了在准确性和效率之间的有利平衡。