[论文解读] SEE-MCAM: Scalable Multi-bit FeFET Content Addressable Memories for Energy Efficient Associative Search

Shengxi Shou, Che-Kai Liu+8 more|arXiv (Cornell University)|Oct 7, 2023

Ferroelectric and Negative Capacitance Devices被引用 4

一句话总结

本论文提出SEE-MCAM，一种可扩展的多比特铁电场效应晶体管（FeFET）内容可寻址存储器（CAM），利用铁电场效应晶体管（FeFET）的多级单元（MLC）能力，实现高密度、高能效的关联搜索。通过设计NOR型和NAND型2FeFET-1T与2FeFET-2T CAM架构，SEE-MCAM实现每单元3比特存储，单位比特面积仅为CMOS CAM的8%，能量效率提升9.8倍，搜索延迟较CMOS CAM降低1.6倍，在量化超维计算工作负载中，相比GPU实现最高3倍的速度与能效提升。

ABSTRACT

In this work, we propose SEE-MCAM, scalable and compact multi-bit CAM (MCAM) designs that utilize the three-terminal ferroelectric FET (FeFET) as the proxy. By exploiting the multi-level-cell characteristics of FeFETs, our proposed SEE-MCAM designs enable multi-bit associative search functions and achieve better energy efficiency and performance than existing FeFET-based CAM designs. We validated the functionality of our proposed designs by achieving 3 bits per cell CAM functionality, resulting in 3x improvement in storage density. The area per bit of the proposed SEE-MCAM cell is 8% of the conventional CMOS CAM. We thoroughly investigated the scalability and robustness of the proposed design. Evaluation results suggest that the proposed 2FeFET-1T SEE-MCAM achieves 9.8x more energy efficiency and 1.6x less search latency compared to the CMOS CAM, respectively. When compared to existing MCAM designs, the proposed SEE-MCAM can achieve 8.7x and 4.9x more energy efficiency than ReRAM-based and FeFET-based MCAMs, respectively. Benchmarking results show that our approach provides up to 3 orders of magnitude improvement in speedup and energy efficiency over a GPU implementation in accelerating a novel quantized hyperdimensional computing (HDC) application.

研究动机与目标

• 通过在内存内实现高密度、低功耗的关联搜索，解决AI工作负载中的内存墙瓶颈。
• 克服现有基于非易失性存储器（NVM）的二值与多比特CAM的局限性，后者受限于单级单元（SLC）操作，且面临面积大、功耗高或对器件工艺偏差敏感的问题。
• 利用FeFET的多级单元（MLC）特性，实现可扩展、紧凑且鲁棒的多比特CAM（MCAM）设计，提升能效与性能。
• 在真实AI工作负载中，特别是量化超维计算（HDC）中，验证所提出的FeFET基MCAM的可行性与优越性。

提出的方法

• 采用MIBO（基于多级反相器输出）概念设计2FeFET多级单元（MLC）结构，实现每个FeFET存储多位数据。
• 提出两种CAM架构：NOR型2FeFET-1T与NAND型2FeFET-2T，以最小化面积与能量开销，支持多比特关联搜索。
• 实现非线性量化方案，将超向量元素映射至3比特值，确保与SEE-MCAM每单元3比特设计的兼容性。
• 将SEE-MCAM集成至量化超维计算（HDC）框架中，通过与GPU及其他基于CAM的实现对比，评估其性能与能效。
• 以16T CMOS CAM为基线进行对比，通过仿真与真实数据集（ISOLET、UCIHAR、PAMAP）上的硬件感知基准测试评估性能。
• 采用Nvidia系统管理接口与PyTorch性能分析器，精确测量GPU与基于SEE-MCAM的HDC工作负载中的功耗与延迟。

实验结果

研究问题

• RQ1 FeFET基多比特CAM能否在存储密度与能效方面超越现有二值与多比特CAM？
• RQ2 如何有效利用FeFET的多级单元（MLC）特性，实现可扩展、低功耗的多比特关联搜索？
• RQ3 在真实AI工作负载中，SEE-MCAM相较于CMOS基CAM与其他NVM基CAM，在性能与能效方面有何提升？
• RQ4 与二值CAM及GPU实现相比，SEE-MCAM在量化超维计算（HDC）应用中，对准确率与效率的提升程度如何？

主要发现

• 所提出的2FeFET-1T SEE-MCAM相比16T CMOS CAM，能量效率提升9.8倍，搜索延迟降低1.6倍。
• SEE-MCAM实现每单元3比特功能，相比二值CAM，存储密度提升3倍。
• SEE-MCAM单元的单位比特面积仅为传统CMOS CAM的8%，展现出显著的面积扩展优势。
• 与基于ReRAM和FeFET的MCAM相比，SEE-MCAM的能量效率分别提升8.7倍与4.9倍。
• 在量化HDC工作负载中，基于SEE-MCAM的实现相比GPU（GTX 1080ti）实现，速度与能效最高提升三个数量级。
• 3比特SEE-MCAM相比2比特版本，因超向量维度提升，准确率提高2.41%；相比基于二值COSIME的实现，准确率提高2.26%。