[论文解读] RTLFixer: Automatically Fixing RTL Syntax Errors with Large Language Models

Yun-Da Tsai, Mingjie Liu+1 more|arXiv (Cornell University)|Nov 28, 2023

Natural Language Processing Techniques被引用 10

一句话总结

RTLFixer 使用 Retrieval-Augmented Generation 与 ReAct 提示来自动修复 RTL Verilog 语法错误，借助 LLM，在 Verilog 语法数据集上实现 98.5% 的语法错误解决率，并在多个基准上提高 pass@1。

ABSTRACT

This paper presents RTLFixer, a novel framework enabling automatic syntax errors fixing for Verilog code with Large Language Models (LLMs). Despite LLM's promising capabilities, our analysis indicates that approximately 55% of errors in LLM-generated Verilog are syntax-related, leading to compilation failures. To tackle this issue, we introduce a novel debugging framework that employs Retrieval-Augmented Generation (RAG) and ReAct prompting, enabling LLMs to act as autonomous agents in interactively debugging the code with feedback. This framework demonstrates exceptional proficiency in resolving syntax errors, successfully correcting about 98.5% of compilation errors in our debugging dataset, comprising 212 erroneous implementations derived from the VerilogEval benchmark. Our method leads to 32.3% and 10.1% increase in pass@1 success rates in the VerilogEval-Machine and VerilogEval-Human benchmarks, respectively.

研究动机与目标

• 激励降低 LLM 生成的 Verilog 代码中的语法错误的需求（观察到 55% 的语法错误）。
• 引入一个结合 ReAct 与 RAG 的自主调试框架来修复语法错误。
• 构建并发布 VerilogEval-syntax，这是一个从 VerilogEval 派生的包含 212 个样本的语法错误数据集。
• 展示在语法修复成功率和下游功能正确性方面的显著提升。
• 评估在基准测试 VerilogEval、RTLLM 以及不同编译器变体上的泛化能力。

提出的方法

• 使用具备 ReAct 提示的自主 LLM 代理来分解并规划语法修复步骤。
• 整合 Retrieval-Augmented Generation (RAG) 以检索编译器日志和人类指导，作为非参数内存。
• 通过对常见语法错误进行分组并收集专家指导以供检索，来整理 VerilogEval-syntax。
• 使用 fix rate 和 pass@k 指标在 VerilogEval、VerilogEval-syntax 与 RTLLM 基准上进行评估。
• 以 GPT-3.5-turbo 作为 LLM 主 backbone，并在生成后应用基于规则的语法修复器（与 GPT-4 的消融对比）。
• 比较 One-shot、ReAct 和 RAG 配置，包括不同编译器反馈质量（iverilog、Quartus）的影响。

实验结果

研究问题

• RQ1 基于 ReAct 的迭代推理是否能显著优于单-shot 提示在语法错误修复上的表现？
• RQ2 将 RAG 与人类专家指导结合是否提高语法错误修复的可靠性与成功率？
• RQ3 该方法在 Verilog 基准测试（VerilogEval、RTLLM）以及不同 Verilog 编译器上的泛化能力如何？
• RQ4 编译器反馈质量对语法修复性能有何影响？

主要发现

• 该框架在调试数据集上实现了 98.5% 的语法错误解决成功率。
• 解决语法错误在 VerilogEval-Machine 上的 pass@1 提升 32.3%，在 VerilogEval-Human 基准上提升 10.1%。
• RTLLM 的语法修复成功率从 73% 提升至 93%。
• 相比 One-shot，ReAct 在不同反馈源（Simple、iverilog、Quartus）下的语法成功率提升最多约 31%。
• 在有人工指导的情况下，RAG 提高语法修复的可靠性，例如在 One-shot 下使用 Quartus 时提升至 31.2%，在 ReAct 下提升至 18.6%。
• 提高编译器反馈质量（Quartus 相较于 iverilog）通常会提高修复率，且 GPT-4 提供更高的基线性能，来自 ReAct 的增益相对较小。