[论文解读] Variants of Mersenne Twister Suitable for Graphic Processors

Mutsuo Saito, Makoto Matsumoto|arXiv (Cornell University)|May 27, 2010

Chaos-based Image/Signal Encryption参考文献 16被引用 11

一句话总结

本文提出 MTGP，一种专为 GPU 架构优化的梅森旋转算法变体，通过在多个线程间共享单一大型状态空间，利用大规模并行性实现长周期和高维均匀分布。同时，本文还引入 MTGPDC，一种参数生成器，可生成最多 2^32 个不同且高质量的参数集，用于独立随机流，从而在大规模 GPU 集群中实现可扩展使用，并具备强大的统计保障。

ABSTRACT

This paper proposes a type of pseudorandom number generator, Mersenne Twister for Graphic Processor (MTGP), for efficient generation on graphic processessing units (GPUs). MTGP supports large state sizes such as 11213 bits, and uses the high parallelism of GPUs in computing many steps of the recursion in parallel. The second proposal is a parameter-set generator for MTGP, named MTGP Dynamic Creator (MTGPDC). MT- GPDC creates up to 2^32 distinct parameter sets which generate sequences with high-dimensional uniformity. This facility is suitable for a large grid of GPUs where each GPU requires separate random number streams. MTGP is based on linear recursion over the two-element field, and has better high-dimensional equidistribution than the Mersenne Twister pseudorandom number generator.

研究动机与目标

• 设计一种伪随机数生成器（PRNG），能够高效利用 GPU 的大规模并行性，同时保持高统计质量。
• 克服 GPU 上每个线程独立 PRNG 的局限性，后者由于快速内存受限而状态空间较小。
• 在大规模 GPU 集群中实现独立的随机数流，确保每个 GPU 或线程拥有唯一且无相关性的序列。
• 开发一种参数生成器，系统性地创建高质量、互不相同的参数集，并嵌入 ID 以实现可扩展部署。
• 确保生成序列在高维下具备强均匀分布特性，并最小化线性依赖性，尤其适用于高维模拟。

提出的方法

• MTGP 使用单一大型状态空间（例如 11213 位）在多个 GPU 线程间共享，实现长周期和高维均匀分布。
• 算法在多个线程间并行应用梅森旋转递推关系，状态存储于共享内存以实现快速访问，并采用聚合内存访问模式。
• MTGPDC 通过将 32 位 ID 嵌入递推参数中生成参数集，确保不同 ID 之间的流彼此独立。
• 参数生成过程选择不可约特征多项式和扰动参数，以最大化高维下的均匀分布性能。
• MTGP 使用 CUDA 内核在全局内存中生成伪随机数，通过同步和状态重载机制在内核调用间保持状态持久性。
• 设计充分考虑 GPU 内存层次结构：每个线程使用寄存器，每个线程块使用共享内存，全局内存用于持久状态和输出存储。

实验结果

研究问题

• RQ1 能否在数千个 GPU 线程间高效并行化单一大型状态的 PRNG，以同时实现高性能和高统计质量？
• RQ2 如何动态生成 GPU 优化 PRNG 的参数集，以确保在数千个独立流之间实现独立性和高均匀分布？
• RQ3 在递推参数中嵌入唯一 ID 对生成序列的统计独立性和均匀分布特性有何影响？
• RQ4 MTGP 与现有 GPU PRNG 在速度、周期长度和统计鲁棒性方面相比如何？
• RQ5 共享状态设计在多大程度上缓解了 GPU PRNG 中状态大小与并行性之间的权衡？

主要发现

• MTGP 的性能与目前最快的 GPU PRNG（如 CURAND）相当，甚至快 1.7 倍，同时在均匀分布和周期长度方面提供了更优越的统计保障。
• MTGP 通过了所有 BigCrush 统计测试，仅在测量 F2-线性依赖性的测试中失败，这是梅森旋转算法和 WELL 算法共有的已知局限，但不影响实际模拟质量。
• MTGPDC 可为每个周期 2^11213−1、2^23209−1 和 2^44497−1 生成最多 2^32 个不同参数集，每个参数集均具备高维均匀分布特性。
• MTGP 中理论与实际均匀分布维度之间的差距小于原始梅森旋转算法，表明在相同存储开销下统计质量得到提升。
• 使用不同的不可约特征多项式和嵌入 ID 的参数显著降低了流之间的相关性风险，增强了大规模 GPU 部署中的独立性。
• MTGP 的共享状态设计可高效利用 GPU 内存层次结构，状态存储于共享内存，输出写入全局内存，从而实现在内核启动之间的状态持久性。