[论文解读] stdgpu: Efficient STL-like Data Structures on the GPU

Patrick Stotko|arXiv (Cornell University)|Aug 16, 2019

Robotics and Sensor-Based Localization参考文献 12被引用 7

一句话总结

stdgpu 是一个开源的 C++ 库，提供针对 GPU 执行进行优化的高效、类似 STL 的数据结构，支持与现有 CPU 和 GPU 框架无缝集成。通过为 vector 和 deque 等容器提供熟悉且类型安全的接口，配合 GPU 加速操作，它弥合了 CPU 与 GPU 编程之间的差距，同时通过自定义内存管理和同步原语确保线程安全与高性能。

ABSTRACT

Tremendous advances in parallel computing and graphics hardware opened up several novel real-time GPU applications in the fields of computer vision, computer graphics as well as augmented reality (AR) and virtual reality (VR). Although these applications built upon established open-source frameworks that provide highly optimized algorithms, they often come with custom self-written data structures to manage the underlying data. In this work, we present stdgpu, an open-source library which defines several generic GPU data structures for fast and reliable data management. Rather than abandoning previous established frameworks, our library aims to extend them, therefore bridging the gap between CPU and GPU computing. This way, it provides clean and familiar interfaces and integrates seamlessly into new as well as existing projects. We hope to foster further developments towards unified CPU and GPU computing and welcome contributions from the community.

研究动机与目标

• 解决缺乏标准化、高级别且安全的 GPU 数据结构的问题，这些结构应与 CPU 开发中的 C++ STL 相对应。
• 在实时 3D 重建、计算机视觉和 AR/VR 系统等 GPU 加速应用中，实现高效可靠的内存管理。
• 通过提供跨平台通用的、熟悉的通用接口，弥合 CPU 与 GPU 编程在语义和语法上的差距。
• 扩展现有 GPU 计算框架（如 Thrust、ArrayFire），增加原生库中不支持的完整功能、并发且安全的容器抽象。
• 通过支持主机-设备函数重载和一致的内存与迭代器语义，促进 CPU 和 GPU 代码的统一编程模型。

提出的方法

• 设计一个与平台无关的核心组件，包含主机/设备函数属性和可配置的索引类型（index32_t/index64_t），以确保可移植性和正确性。
• 实现基于模板的容器系统，具备类似 STL 的语义，包括 stdgpu::vector 和 stdgpu::deque，支持动态扩容、随机访问和线程安全操作。
• 使用位集标记数组来追踪预分配内存块中的有效数据，避免使用无效占位值，提升内存安全性。
• 引入非阻塞互斥锁抽象，实现细粒度 GPU 同步，其中锁获取可能失败——通过在容器操作中使用重试逻辑来处理。
• 提供原子包装器、位操作和哈希函数等实用组件，以支持底层 GPU 内核开发和容器实现。
• 通过使用熟悉的 C++ 语法和语义，确保与现有框架的互操作性，使代码可无缝集成到 SLAMCast 等项目中，无需大规模重构。

实验结果

研究问题

• RQ1 如何在 GPU 上有效且安全地实现类似 C++ STL 的数据结构，以支持复杂的并行数据处理工作负载？
• RQ2 哪些设计模式能够实现在保持性能和类型安全的前提下，CPU 与 GPU 代码之间的无缝互操作？
• RQ3 如何在不依赖重量级同步机制或阻塞机制的情况下，缓解 GPU 数据结构中线程不安全操作的问题？
• RQ4 自定义内存管理与位集标记在提升 GPU 容器的可靠性、减少内存错误方面起到什么作用？
• RQ5 现有 GPU 框架在多大程度上可以通过支持插入和删除等动态操作的高级通用容器得到扩展？

主要发现

• stdgpu 已成功在 GPU 上实现了一组通用的、类似 STL 的容器（如 vector、deque），全面支持动态操作、随机访问和线程安全修改。
• 该库支持在 GPU 内核中高效并行处理数据——例如在 Marching Cubes 算法中，输出大小依赖于数据，无法预先计算。
• 通过使用基于位集的有效性追踪系统，stdgpu 避免了使用特殊占位值的缺陷，提升了数据完整性和内存安全性。
• 非阻塞互斥锁设计允许对容器元素进行安全的并发访问，失败的锁获取在内核代码中可被优雅处理。
• 该库的主机-设备函数重载机制以及索引类型抽象（index32_t/index64_t）显著提升了可移植性，并减少了异构代码中常见的编程错误。
• stdgpu 已具备生产就绪能力，已在 SLAMCast 等真实系统中用于实时 3D 场景重建，证明了其在复杂、GPU 密集型工作负载中的实用性与高性能。