[论文解读] The Distributed Network Processor: a novel off-chip and on-chip interconnection network architecture

A. Biagioni, Francesca Lo Cicero+8 more|arXiv (Cornell University)|Mar 7, 2012

Interconnection Networks and Systems参考文献 17被引用 8

一句话总结

本文提出了一种分布式网络处理器（DNP），这是一种可配置、可扩展且面积低的互连网络架构，适用于多芯片tile的MPSoC和HPC系统中的片上与片外通信。该架构通过参数化、虫洞路由、无死锁的静态路由网络，实现了跨异构平台的统一RDMA式通信，在500MHz频率下实现了130周期的片上延迟和250周期的片外延迟，45nm工艺下的面积估算为1.30–1.76 mm²。

ABSTRACT

One of the most demanding challenges for the designers of parallel computing architectures is to deliver an efficient network infrastructure providing low latency, high bandwidth communications while preserving scalability. Besides off-chip communications between processors, recent multi-tile (i.e. multi-core) architectures face the challenge for an efficient on-chip interconnection network between processor's tiles. In this paper, we present a configurable and scalable architecture, based on our Distributed Network Processor (DNP) IP Library, targeting systems ranging from single MPSoCs to massive HPC platforms. The DNP provides inter-tile services for both on-chip and off-chip communications with a uniform RDMA style API, over a multi-dimensional direct network with a (possibly) hybrid topology.

研究动机与目标

• 解决多芯片tile MPSoC和HPC系统中片上与片外通信的可扩展性与效率挑战。
• 提供一种统一、低延迟、高带宽的通信基础设施，支持通过单一API实现片上与片外互连。
• 设计一种最小化、可综合且可配置的硬件IP模块，以最小化硅面积与功耗，尤其适用于无MMU环境。
• 通过统一的通信模型，实现从单个MPSoC到大规模HPC集群的系统层级无缝集成。
• 通过可编程路由与容错路由机制，支持未来可扩展性。

提出的方法

• DNP以参数化IP库形式实现，支持可配置的片内（L）、片上（N）与片外（M）端口数量，实现灵活的系统集成。
• 采用全交换、虫洞路由、无死锁、基于包的通信架构，结合静态路由，实现低延迟、高吞吐量的数据传输。
• 网络支持在片上与片外tile之间使用统一的RDMA风格API，抽象硬件差异，支持端到端的系统级通信原语。
• 设计针对无内存地址转换（MMU-off）环境进行优化，通过移除虚拟内存支持，降低面积与功耗。
• 在45nm工艺下以500MHz频率进行布局布线试验，使用寄存器而非存储宏来估算面积与功耗，结果外推用于最终设计。
• 片外接口采用16:1的串行化因子，带宽为4 bit/周期，延迟主要由串行化与物理层延迟主导。

实验结果

研究问题

• RQ1 如何在异构多芯片tile系统中高效地部署单一、统一的通信基础设施，以支持片上与片外互连？
• RQ2 在低面积、低功耗、无MMU的架构下，全交换、虫洞路由、无死锁互连的可实现延迟与带宽是多少？
• RQ3 DNP的参数化与可配置架构如何实现对不同系统规模（从单个MPSoC到大规模HPC集群）的快速探索与部署？
• RQ4 在多芯片系统中集成DNP的面积与功耗开销是多少？其如何随端口数量与拓扑结构变化而扩展？
• RQ5 DNP能否在大规模HPC平台中支持未来增强功能，如可编程路由与容错路由机制？

主要发现

• DNP实现了约130周期的单跳片上延迟（500MHz下为260ns），片外延迟约为250周期（500MHz下为500ns），片外延迟主要由串行化造成。
• 片外网络每方向提供4 bit/周期的带宽，16:1串行化因子，额外的片外接口跳变仅增加约100周期延迟，得益于高效的虫洞路由。
• 45nm工艺下的布局布线试验显示，DNP的面积估算为1.30 mm²（MTNoC）与1.76 mm²（MT2D），功耗分别为160mW与180mW，约占芯片总功耗的1/4。
• 面积估算较为保守，因使用寄存器而非存储宏；最终设计预计可将面积减少约50%。
• DNP支持在系统层级的可扩展、统一通信，使同一RDMA API可用于片上与片外通信，简化系统级编程。
• 未来工作包括用微处理器替代硬编码路由以实现可编程性，并集成容错路由机制以支持大规模HPC部署。