[论文解读] The False Dawn: Reevaluating Google's Reinforcement Learning for Chip Macro Placement

Igor L. Markov|arXiv (Cornell University)|Jun 16, 2023

Open Source Software Innovations被引用 5

一句话总结

本篇元分析对谷歌2021年发表于《自然》期刊的论文提出质疑，该论文声称强化学习（RL）在芯片宏布局方面取得突破。通过独立复现和基于公开设计的基准测试，作者证明谷歌的RL方法在性能上逊于人类设计师、模拟退火算法以及商用EDA工具，且由于数据和代码不完整，存在严重的可复现性问题。

ABSTRACT

Reinforcement learning (RL) for physical design of silicon chips in a Google 2021 Nature paper stirred controversy due to poorly documented claims that raised eyebrows and drew critical media coverage. The paper withheld critical methodology steps and most inputs needed to reproduce results. Our meta-analysis shows how two separate evaluations filled in the gaps and demonstrated that Google RL lags behind (i) human designers, (ii) a well-known algorithm (Simulated Annealing), and (iii) generally-available commercial software, while being slower; and in a 2023 open research contest, RL methods weren't in top 5. Crosschecked data indicate that the integrity of the Nature paper is substantially undermined owing to errors in conduct, analysis and reporting. Before publishing, Google rebuffed internal allegations of fraud, which still stand. We note policy implications and conclusions for chip design.

研究动机与目标

• 调查谷歌2021年《自然》期刊论文中关于强化学习在芯片宏布局中优于最先进方法的宣称是否成立。
• 通过分析缺失的方法论、代码和基准数据，评估谷歌研究结果的可复现性。
• 使用公开芯片设计，将谷歌的强化学习方法与人类设计师、模拟退火算法及商用EDA工具进行对比。
• 在内部争议、数据隐瞒和相互矛盾的宣称背景下，评估原始《自然》论文的完整性。
• 探讨机构与编辑在高影响力人工智能研究中维护科学严谨性与可复现性的责任。

提出的方法

• 对原始《自然》期刊论文及其补充材料进行元分析，识别方法论和报告中的缺失部分。
• 通过逆向工程未包含在谷歌开源发布中的组件，重建了缺失的模拟退火（SA）基线。
• 在公开可用的现代芯片设计基准上独立开展实验，比较强化学习、模拟退火和商用EDA工具的表现。
• 评估谷歌开源代码发布（发表后7个月）的完整性和可用性，识别关键缺失组件。
• 分析媒体报道、法院文件和内部举报人指控，评估科学不端行为和数据完整性问题的证据。
• 审查《自然》期刊的编辑回应，包括添加正式编辑注释，质疑该论文的性能宣称。

实验结果

研究问题

• RQ1 谷歌在芯片宏布局中采用的强化学习方法是否优于模拟退火等成熟方法及商用EDA工具？
• RQ2 鉴于数据被隐瞒、代码不完整且缺乏在公开数据集上的基准测试，该《自然》期刊论文的结果在多大程度上可复现？
• RQ3 基于内部举报人指控和外部审查，原始《自然》期刊论文中是否存在科学不端行为或数据完整性问题的证据？
• RQ4 在公开芯片设计上，谷歌的强化学习方法在性能表现上与人工设计布局及行业标准工具相比如何？
• RQ5 当在《自然》等顶级期刊发表高影响力宣称时，机构与编辑应承担何种责任以确保科学完整性？

主要发现

• 在公开芯片设计基准测试中，谷歌的强化学习方法在性能上逊于人类设计师和成熟的模拟退火算法。
• 商用EDA工具在布局质量与运行效率方面均优于谷歌的强化学习方法。
• 谷歌开源代码发布不完整，缺少复现报告结果所必需的关键组件。
• 加州大学圣地亚哥分校（UCSD）研究人员的独立复现结果证实，谷歌的强化学习方法未达到最先进水平，且在2023年开放研究竞赛中未能进入前五名。
• 2023年9月，《自然》期刊在原始论文中添加了编辑注释，指出其性能宣称正在接受调查，可能具有误导性。
• 谷歌内部研究人员在论文发表前即对欺诈行为提出过担忧，一名举报人因提出指控被解雇，后依据加利福尼亚州举报人保护法提起诉讼。