[论文解读] Summarizing CPU and GPU Design Trends with Product Data

Yifan Sun, Nícolas Bohm Agostini+2 more|arXiv (Cornell University)|Nov 26, 2019

Parallel Computing and Optimization Techniques参考文献 9被引用 66

一句话总结

作者分析超过4,000种CPU和GPU产品的数据，以检验摩尔定律和Dennard尺度定律，发现晶体管尺度仍然关键，但架构进步越来越重要；GPU仍然优于CPU，尽管差距因CPU SIMD改进和更多核心而缩小。

ABSTRACT

Moore's Law and Dennard Scaling have guided the semiconductor industry for the past few decades. Recently, both laws have faced validity challenges as transistor sizes approach the practical limits of physics. We are interested in testing the validity of these laws and reflect on the reasons responsible. In this work, we collect data of more than 4000 publicly-available CPU and GPU products. We find that transistor scaling remains critical in keeping the laws valid. However, architectural solutions have become increasingly important and will play a larger role in the future. We observe that GPUs consistently deliver higher performance than CPUs. GPU performance continues to rise because of increases in GPU frequency, improvements in the thermal design power (TDP), and growth in die size. But we also see the ratio of GPU to CPU performance moving closer to parity, thanks to new SIMD extensions on CPUs and increased CPU core counts.

研究动机与目标

• 评估摩尔定律和Dennard尺度在现代CPU和GPU中是否仍然有效。
• 量化驱动GPU性能的因素，包括时钟频率、TDP和晶圆尺寸。
• 比较CPU和GPU的理论计算能力，识别驱动趋同或背离的因素。
• 评估如MCM封装、DVFS和时钟门控等架构趋势在维持缩放趋势中的作用。

提出的方法

• 收集自2000年起发布的4031款产品的数据（2102款CPU，1929款GPU）来自公开规格。
• 记录每个产品的发布日期、工艺尺寸、晶圆尺寸、晶体管数量、基准频率和TDP。
• 利用基频并考虑CPU核心与SIMD特征，计算理论的单精度和双精度FLOPS。
• 使用TFLOPS和TFLOPS每瓦特作为原始性能和能效性能的度量。
• 按指定方式处理多芯片模块（MCM）和集成CPU-GPU设备，采用适当的计算聚合规则。
• 注意的局限性包括2014年后缺失Intel晶体管/晶圆数据，以及重点对GPU数据进行晶体管/晶圆分析。

实验结果

研究问题

• RQ1 摩尔定律对CPU和GPU仍然有效吗，哪些因素使其继续存在？
• RQ2 GPU是否仍然在计算力方面优于CPU，CPU-GPU之间的差距在扩大还是缩小？
• RQ3 哪些因素驱动GPU的性能提升（如频率、晶圆尺寸、TDP），这些因素如何与效率相关联？

主要发现

• 晶体管缩放随着时间推移继续增加芯片上的晶体管数量，支持CPU和GPU的摩尔定律。
• GPU晶圆尺寸随时间增长，超出单纯缩放对晶体管数量的贡献。
• Dennard尺度在部分方面仍然有效，但在新节点面临压力；每个晶体管的能量仍在下降，但某些节点出现能量密度挑战。
• GPU在单精度上的性能仍显著高于CPU，但通过SIMD扩展和更多核心，CPU已缩小差距。
• GPU能效（FLOPS/瓦特）迅速提升，大约每3–4年翻倍，且高端GPU的TDP上升（约300W）。
• 频率提升是GPU性能提升的主要驱动力，在代际之间会有显著跃升（如2016年）。
• 在双精度方面，由于市场驱动的GPU设计（游戏与高性能计算）和CPU SIMD进展，GPU相对于CPU的性能差异差异较大，直接比较需谨慎。