[论文解读] Sparse Quantized Spectral Clustering

Zhenyu Liao, Romain Couillet+1 more|arXiv (Cornell University)|Oct 3, 2020

Sparse and Compressive Sensing Techniques参考文献 47被引用 4

一句话总结

本文提出了一种数据相关的稀疏量化谱聚类方法，显著降低了计算和存储成本，同时保持了聚类性能。基于随机矩阵理论，证明了精心设计的逐元素非线性变换（稀疏化、量化、二值化）能够保持核矩阵的有用特征谱，即使90%的元素被置零或减少到每个元素1比特，也能实现接近最优的聚类效果。

ABSTRACT

Given a large data matrix, sparsifying, quantizing, and/or performing other entry-wise nonlinear operations can have numerous benefits, ranging from speeding up iterative algorithms for core numerical linear algebra problems to providing nonlinear filters to design state-of-the-art neural network models. Here, we exploit tools from random matrix theory to make precise statements about how the eigenspectrum of a matrix changes under such nonlinear transformations. In particular, we show that very little change occurs in the informative eigenstructure even under drastic sparsification/quantization, and consequently that very little downstream performance loss occurs with very aggressively sparsified or quantized spectral clustering. We illustrate how these results depend on the nonlinearity, we characterize a phase transition beyond which spectral clustering becomes possible, and we show when such nonlinear transformations can introduce spurious non-informative eigenvectors.

研究动机与目标

• 分析逐元素非线性变换（如稀疏化、量化、二值化）对谱聚类中核矩阵特征谱的影响。
• 刻画此类变换在何种条件下能保持聚类所需的有用特征结构。
• 基于信噪比（SNR）识别主导特征值-特征向量对的相变行为。
• 在固定存储预算下，优化量化和二值化算子以最小化性能损失。
• 证明选择性、数据驱动的稀疏化在性能和效率上均优于均匀随机稀疏化。

提出的方法

• 应用随机矩阵理论（RMT），推导当 n, p → ∞ 时，变换后核矩阵 K = f(X^T X / √p) / √p 的渐近特征值分布。
• 采用混合模型，其中数据点为 i.i.d. N(±μ, I_p)，以建模信号和噪声分量。
• 引入一个通用的逐元素阈值化/量化算子 f，用于建模稀疏化、量化和二值化。
• 推导理论条件，确保主导特征向量保留类别结构信息（即不与真实类别标签向量渐近正交）。
• 在固定存储约束（如每个非零元素的比特数）下，优化阈值函数 f 以最小化性能损失。
• 通过在真实世界数据集（如 MNIST）上的模拟实验验证理论发现，比较不同 f 函数和稀疏度水平下的性能表现。

实验结果

研究问题

• RQ1 在高维渐近情形下，稀疏化或量化如何影响谱聚类中核矩阵的特征谱？
• RQ2 在何种信噪比（SNR）下，主导特征向量变得对聚类有信息量，何时则完全变为噪声？
• RQ3 数据相关的非均匀稀疏化是否能在聚类准确率和计算效率上优于均匀随机稀疏化？
• RQ4 在固定存储预算下，何种量化或二值化方案能最小化性能损失？
• RQ5 非线性变换在何种条件下会引入虚假的、无信息的特征向量？

主要发现

• 当信噪比（SNR）∥μ∥² 超过阈值 γ 时，主导特征值变得孤立，其特征向量能捕捉类别结构信息；否则，其与真实类别标签向量渐近正交。
• 在最优阈值下，二值量化（f3）的性能与全精度线性核相差不足1%，即使在54%稀疏度（ε ≈ 0.54）下仍保持如此。
• 二值化 f3 的最优阈值为 sopt ≈ 0.43，与 ρ 或 c 无关，且其 ν/a²₁ ≈ 1.24，显著优于 sign(t)（ν/a²₁ ≈ 1.57）。
• 对于 M ≥ 5，最优量化 f2 的 ν/a²₁ 接近 1，表明其性能接近理论最优，损失极小。
• 在 MNIST 数据集上，二值化 f3 即使在高达90%的矩阵元素被丢弃的情况下，仍能保持接近最优的聚类误差，计算时间最高可减少80%。
• 在相同存储大小下，量化 f2 和二值化 f3 均优于稀疏 f1，证明量化能实现比仅稀疏化更优的性能-复杂度权衡。