[论文解读] Sparse Matrix Implementation in Octave

David Bateman, Andy Adler|ArXiv.org|Apr 3, 2006

VLSI and FPGA Design Techniques参考文献 10被引用 5

一句话总结

本文介绍了在 GNU Octave 2.9.5 中使用压缩列存储实现稀疏矩阵支持，详细说明了高效创建、操作及与 oct-files 集成的方法。结果表明，Octave 的稀疏矩阵操作在大多数情况下优于 MATLAB R14sp2，尤其在更大、更高密度的问题上表现更优，验证了其在科学计算中的高效性。

ABSTRACT

There are many classes of mathematical problems which give rise to matrices, where a large number of the elements are zero. In this case it makes sense to have a special matrix type to handle this class of problems where only the non-zero elements of the matrix are stored. Not only does this reduce the amount of memory to store the matrix, but it also means that operations on this type of matrix can take advantage of the a-priori knowledge of the positions of the non-zero elements to accelerate their calculations. A matrix type that stores only the non-zero elements is generally called sparse. Until recently Octave has lacked a full implementation of sparse matrices. This article address the implementation of sparse matrices within Octave, including their storage, creation, fundamental algorithms used, their implementations and the basic operations and functions implemented for sparse matrices. Mathematical issues such as the return types of sparse operations, matrix fill-in and reordering for sparse matrix factorization is discussed in the context of a real example. Benchmarking of Octave's implementation of sparse operations compared to their equivalent in Matlab are given and their implications discussed. Results are presented for multiplication and linear algebra operations for various matrix orders and densities. Furthermore, the use of Octave's sparse matrix implementation is demonstrated using a real example of a finite element model (FEM) problem. Finally, the method of using sparse matrices with Octave's oct-files is discussed. The means of creating, using and returning sparse matrices within oct-files is discussed as well as the differences between Octave's Sparse and Array classes.

研究动机与目标

• 设计并实现一种高效的 Octave 稀疏矩阵表示方法，以减少内存使用并加速计算。
• 将 Octave 的稀疏矩阵性能与 MATLAB 的等效函数进行比较，评估其竞争力。
• 实现稀疏矩阵在动态链接 oct-files 中的无缝集成，以支持高性能计算。
• 提供创建和管理稀疏矩阵的最佳实践，以避免性能瓶颈。
• 通过求解二维拉普拉斯方程的有限元模型，展示其在实际科学计算中的适用性。

提出的方法

• 采用压缩列格式（CCS）进行稀疏矩阵存储，将列索引、行索引和数据值分别存储在三个独立向量中。
• 使用列主序排列，与 Octave 的密集矩阵存储方式保持一致，确保稀疏-密集混合操作的高效性。
• 在矩阵构造过程中对非零元素进行排序，以保持行索引的有序性，提升算法效率。
• 提供多种创建方法：通过函数（如 speye、sprand）、使用 sparse 构造函数从向量创建，以及直接从压缩格式的原始数据创建。
• 引入 maybe_compress 函数以移除零元素并回收未使用的内存，但会带来性能开销。
• 通过 change_capacity 支持动态内存重分配，以处理构造过程中非零元素数量未知的情况。

实验结果

研究问题

• RQ1 Octave 的稀疏矩阵实现与 MATLAB 的等效函数相比性能如何？
• RQ2 在 Octave 中创建稀疏矩阵最节省内存和计算资源的方法是什么？
• RQ3 如何在动态加载的 oct-files 中有效使用和操作稀疏矩阵？
• RQ4 在创建后对稀疏矩阵进行排序和压缩会产生怎样的性能影响？
• RQ5 Octave 的稀疏矩阵实现能否高效处理实际的科学计算工作负载，例如有限元模拟？

主要发现

• Octave 的稀疏矩阵实现优于 MATLAB R14sp2，在大多数基准测试操作中表现更优，尤其在更大、更高密度的矩阵上。
• 压缩列格式通过利用已知的稀疏模式和列主序布局，显著降低内存使用并提升操作速度。
• 直接从预排序的压缩格式数据创建稀疏矩阵是最高效的方法，可避免昂贵的排序和压缩步骤。
• maybe_compress 函数可移除零元素，但会带来显著性能开销，因此建议避免添加零元素以规避此操作。
• 通过 change_capacity 实现的动态内存重分配可处理构造过程中非零元素数量未知的情况，尽管会暂时增加内存使用。
• oct-files 中的 Octave 稀疏矩阵接口支持与原生类型完全互操作，可在不损失性能的前提下实现高性能扩展。