[论文解读] Randomized LU decomposition: An Algorithm for Dictionaries Construction

Aviv Rotbart, Gil Shabat+2 more|arXiv (Cornell University)|Feb 17, 2015

Algorithms and Data Compression参考文献 22被引用 3

一句话总结

本文提出了一种基于随机化LU分解的快速、可扩展且内存高效的字典构建算法，用于训练数据的低秩矩阵分解。该方法实现了不完全字典学习，简化了分类任务，相较于SVD在速度和内存使用上表现更优，并在基于内容的文件类型检测中实现了高准确率，即使仅使用极少量的文件片段也能取得良好效果，展示了其在数字安全应用中的强大性能，例如检测PDF文件中的恶意代码。

ABSTRACT

In recent years, distinctive-dictionary construction has gained importance due to his usefulness in data processing. Usually, one or more dictionaries are constructed from a training data and then they are used to classify signals that did not participate in the training process. A new dictionary construction algorithm is introduced. It is based on a low-rank matrix factorization being achieved by the application of the randomized LU decomposition to a training data. This method is fast, scalable, parallelizable, consumes low memory, outperforms SVD in these categories and works also extremely well on large sparse matrices. In contrast to existing methods, the randomized LU decomposition constructs an under-complete dictionary, which simplifies both the construction and the classification processes of newly arrived signals. The dictionary construction is generic and general that fits different applications. We demonstrate the capabilities of this algorithm for file type identification, which is a fundamental task in digital security arena, performed nowadays for example by sandboxing mechanism, deep packet inspection, firewalls and anti-virus systems. We propose a content-based method that detects file types that neither depend on file extension nor on metadata. Such approach is harder to deceive and we show that only a few file fragments from a whole file are needed for a successful classification. Based on the constructed dictionaries, we show that the proposed method can effectively identify execution code fragments in PDF files. $ extbf{Keywords.}$ Dictionary construction, classification, LU decomposition, randomized LU decomposition, content-based file detection, computer security.

研究动机与目标

• 解决数据处理和分类任务中对高效、可扩展字典构建方法的需求。
• 克服现有方法（如SVD）在速度、内存使用和可扩展性方面的局限性，尤其适用于大规模或稀疏数据集。
• 开发一种通用且可并行化的字典构建框架，适用于多种应用场景。
• 实现与文件扩展名或元数据无关的鲁棒、基于内容的文件类型识别。
• 证明该方法在检测PDF等文件中嵌入的执行代码片段方面的有效性，具有计算机安全相关应用价值。

提出的方法

• 应用随机化LU分解对训练数据执行低秩矩阵分解，实现高效的字典学习。
• 利用随机化LU分解生成不完全字典，从而简化训练和分类过程。
• 利用随机算法的数值稳定性和计算效率，处理大规模和稀疏矩阵。
• 直接从原始数据构建字典，无需依赖元数据或文件扩展名。
• 通过将新信号投影到学习到的子空间，利用所得字典实现信号分类。
• 确保方法具备可并行化和内存高效特性，适用于实时或大规模部署。

实验结果

研究问题

• RQ1 随机化LU分解在字典构建中是否能在速度、内存使用和可扩展性方面显著优于传统SVD？
• RQ2 所构建的不完全字典在实现未见信号准确分类方面效果如何？
• RQ3 在不依赖文件扩展名或元数据的前提下，基于内容的文件类型检测能达到何种程度？
• RQ4 使用该基于字典的方法进行可靠分类，最少需要多少文件片段？
• RQ5 该方法能否以高准确率检测出PDF等文件中嵌入的执行代码片段？

主要发现

• 与SVD相比，随机化LU分解方法在速度和内存效率方面显著更优，尤其适用于大规模和稀疏矩阵。
• 所构建的字典为不完全字典，简化了字典学习和信号分类过程。
• 仅使用少量文件片段即可实现高准确率的基于内容的文件类型检测，降低了对完整文件内容的依赖。
• 该方法成功识别出PDF文件中的执行代码片段，展示了其在数字安全场景中的实用价值。
• 该算法具备良好的可扩展性和可并行性，适用于实时或大规模数据处理应用。
• 该方法在稀疏数据上表现良好，而稀疏数据在文件内容表示中十分常见，其性能优于传统SVD。