[论文解读] Sparse Matrix-based Random Projection for Classification

Weizhi Lu, Weiyu Li+2 more|arXiv (Cornell University)|Dec 12, 2013

Face and Expression Recognition参考文献 21被引用 4

一句话总结

本文提出一种每列恰好包含一个非零元素的稀疏随机投影矩阵——在分类任务中实现了最优的特征选择性能。尽管具有稀疏性，该方法通过Johnson-Lindenstrauss引理保持了成对距离，并且在投影维数远小于特征数量时，其性能优于更密集的矩阵，同时在合成数据和真实世界数据上实现了计算效率与更高的分类准确率。

ABSTRACT

As a typical dimensionality reduction technique, random projection can be simply implemented with linear projection, while maintaining the pairwise distances of high-dimensional data with high probability. Considering this technique is mainly exploited for the task of classification, this paper is developed to study the construction of random matrix from the viewpoint of feature selection, rather than of traditional distance preservation. This yields a somewhat surprising theoretical result, that is, the sparse random matrix with exactly one nonzero element per column, can present better feature selection performance than other more dense matrices, if the projection dimension is sufficiently large (namely, not much smaller than the number of feature elements); otherwise, it will perform comparably to others. For random projection, this theoretical result implies considerable improvement on both complexity and performance, which is widely confirmed with the classification experiments on both synthetic data and real data.

研究动机与目标

• 将随机投影重新构想为一种特征选择机制，而非单纯的距离保持工具。
• 研究随机投影矩阵中不同稀疏度对特征选择性能的影响。
• 识别在分类任务中能够保持或超越密集矩阵性能的最稀疏随机矩阵结构。
• 通过在合成数据和真实世界数据集（包括人脸图像、DNA微阵列和文本文档）上的大量实验，验证理论发现。

提出的方法

• 该方法构建一个{0, ±1}随机投影矩阵，其中每列恰好包含一个非零元素，以确保最大稀疏性。
• 通过内积和范数的概率界，对稀疏度作为函数的期望特征选择性能进行理论分析。
• 将Johnson-Lindenstrauss引理作为约束条件，以确保投影过程中数据结构的稳定性，从而在降维空间中保持分类的可行性。
• 推导在不同稀疏度水平下，投影数据向量与随机投影行之间期望绝对内积的理论边界。
• 通过在高维数据上的二分类实验，将所提出的稀疏矩阵与更密集的矩阵（如高斯分布矩阵、±1矩阵）进行性能比较。
• 推导出一列仅含一个非零元素的矩阵在投影维数相对于特征数量较大时，优于更密集替代方案的理论条件。

实验结果

研究问题

• RQ1 每列恰好一个非零元素的更稀疏随机投影矩阵是否在分类的特征选择中优于更密集的矩阵？
• RQ2 在何种条件下，一列仅含一个非零元素的矩阵能保持或超越更密集矩阵的性能？
• RQ3 随机矩阵的稀疏度如何影响期望的特征选择性能？该影响能否被理论建模？
• RQ4 所提出的稀疏矩阵是否能在通过JL引理保持足够距离结构的同时，实现更优的分类性能？
• RQ5 该稀疏矩阵的理论优势是否在高维真实世界分类任务中得以体现？

主要发现

• 当投影维数不显著小于特征数量时，所提出的每列恰好一个非零元素的稀疏随机矩阵，在特征选择性能上优于更密集的矩阵。
• 该性能优势在理论上基于稀疏随机矩阵的期望内积行为及其推导出的概率界。
• 当投影维数足够大时，该稀疏矩阵在合成数据和真实世界分类任务中均优于更密集的替代方案。
• 该方法在Johnson-Lindenstrauss引理下保持了距离保持特性，确保了投影空间中数据结构的稳定性。
• 在人脸图像、DNA微阵列和文本文档上的分类实验表明，所提出的矩阵在显著降低计算复杂度的同时，实现了更优或相当的性能。
• 理论分析表明，当投影权重的均值相对于其方差较大时，该稀疏矩阵的期望特征选择性能超过更密集矩阵。