[论文解读] Spiky Rank and Its Applications to Rigidity and Circuits

Lianna Hambardzumyan, Konstantin Myasnikov+3 more|arXiv (Cornell University)|Feb 26, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

引入尖峰秩（spiky rank），一种鲁棒矩阵复杂度度量，增强了块状秩，并展示其在矩阵刚性与深度-2 ReLU 电路下界中的应用，对随机矩阵与显式矩阵给出界，并与其他矩阵参数相连。

ABSTRACT

We introduce spiky rank, a new matrix parameter that enhances blocky rank by combining the combinatorial structure of the latter with linear-algebraic flexibility. A spiky matrix is block-structured with diagonal blocks that are arbitrary rank-one matrices, and the spiky rank of a matrix is the minimum number of such matrices required to express it as a sum. This measure extends blocky rank to real matrices and is more robust for problems with both combinatorial and algebraic character. Our conceptual contribution is as follows: we propose spiky rank as a well-behaved candidate matrix complexity measure and demonstrate its potential through applications. We show that large spiky rank implies high matrix rigidity, and that spiky rank lower bounds yield lower bounds for depth-2 ReLU circuits, the basic building blocks of neural networks. On the technical side, we establish tight bounds for random matrices and develop a framework for explicit lower bounds, applying it to Hamming distance matrices and spectral expanders. Finally, we relate spiky rank to other matrix parameters, including blocky rank, sparsity, and the $γ_2$-norm.

研究动机与目标

• 提出一个良定义的矩阵复杂度量，以桥接组合性与代数性质。
• 定义块状秩与尖峰秩，并研究它们的基本性质及与现有参数的关系。
• 展示其在矩阵刚性与深度-2 ReLU 电路下界方面的应用。
• 为随机矩阵族与显式矩阵族建立下界框架。
• 将尖峰秩与块状秩、稀疏度以及 γ2-范数联系起来，研究其在经典矩阵上的行为。

提出的方法

• 将块状矩阵与尖峰矩阵定义为复杂度为1的简单构件，并定义 br(M) 与 spr(M) 为对这些块的最小分解。
• 证明基础性质：次可加性以及上界 sprF(A) ≤ rankF(A) 与 sprF(A) ≤ brF(A)。
• 建立一个通用的下界框架用于 spr(M)，并将其应用于随机矩阵与显式矩阵族。
• 将 spr(M) 与矩阵刚性通过 RM(r) 边界联系起来，并推导通过 Razborov–Wunderlich 结果得到的通信复杂度（PHcc）的推论。
• 分析特定矩阵（汉明距离、扩展器、IP、Disjointness）的尖峰秩，并给出显式下界。
• 将 spr 与其他参数（块状秩、γ2-范数、稀疏度）进行比较，并讨论符号/近似变体。

实验结果

研究问题

• RQ1 一般 N×N 矩阵（布尔与实数）的尖峰秩能达到多大，与块状秩相比如何？
• RQ2 较大的尖峰秩是否意味着强矩阵刚性，从而产生对电路模型的下界？
• RQ3 重要的显式/结构化矩阵（汉明、扩展器、IP、Disjointness）的尖峰秩下界是多少？
• RQ4 尖峰秩如何与其他矩阵参数如块状秩、γ2-范数、稀疏度相关？
• RQ5 随机矩阵的尖峰秩表现如何，这是否能为显式构造提供下界启示？

主要发现

• 随机布尔矩阵在高概率下 spr(M) ≥ N/(12 log N)（以及 spr±(M) 类似）。
• 随机实数矩阵在绝对连续分布下，spr(M) 有概率为1的下界≥ N/2。
• 对于 1-汉明距离矩阵 HD1，spr(HD1) ≥ Ω(√log N)。
• 对于 (N, d, λ)-光谱扩展图的邻接矩阵 MG，spr(MG) ≥ Ω(min{d, (log N)/d^2, (log N)/d, log N})（文本中记为 Ω(min{d, log N}/d^2) 的形式）。
• 内积矩阵 IPn 与 Disjointness Disjn 的下界为 spr(IPn) ≥ n/log n 与 spr(Disjn) ≥ n/log n（常数近似）。
• 布尔矩阵大多数矩阵的 spr(M) ≤ N/log N 的常数阶上界；实矩阵则可达到 spr(M) = Ω(N)。
• 存在一个与维度无关的关系 br(M) ≤ spr(M)O(spr(M))，适用于布尔矩阵，且 spr±(HD1) 即使 spr(HD1) ≥ Ω(√log N) 也可能是常数量级。
• 一个简单的 ReLU 门的 spr ≤ 3n+3，因此 Σ◦ReLU 电路在 spr(M) 的量级下得到下界，近似为 O(n) 因子。