[论文解读] Streaming Symmetric Norms via Measure Concentration

Jarosław Błasiok, Vladimir Braverman+3 more|arXiv (Cornell University)|Nov 3, 2015

Complexity and Algorithms in Graphs参考文献 37被引用 6

一句话总结

本文利用测度集中性（measure concentration）方法，对对称范数的流式空间复杂度给出了紧致的刻画，表明在 (1±ϵ) 范围内近似任意对称范数的空间复杂度，由其浓度模量（modulus of concentration）严格决定，该模量定义为在 l2 单位球面上其最大值与中位数之比。关键结果是一个近乎最优的 (1±ϵ)-近似算法，其空间复杂度为 Θ(mc(l)² log n)，从而解决了子线性算法中关于通用 sketching 和可 sketch 的距离的开放问题。

ABSTRACT

We characterize the streaming space complexity of every symmetric norm $l$ (a norm on $\mathbb{R}^n$ invariant under sign-flips and coordinate-permutations), by relating this space complexity to the measure-concentration characteristics of $l$. Specifically, we provide nearly matching upper and lower bounds on the space complexity of calculating a $(1\pmε)$-approximation to the norm of the stream, for every $02$. In addition, we apply our general results to easily derive bounds for several norms that were not studied before in the streaming model, including the top-$k$ norm and the $k$-support norm, which was recently employed for machine learning tasks. Overall, these results make progress on two outstanding problems in the area of sublinear algorithms (Problems 5 and 30 in~\url{http://sublinear.info}).

研究动机与目标

• 为解决子线性算法中关于通用 sketching 和可 sketch 的距离的开放问题。
• 为在流式模型中以近乎最优的空间复杂度近似任意对称范数，提供一个通用框架。
• 利用测度集中性特性（特别是 l2 单位球面上范数的中位数与最大值）刻画对称范数的流式空间复杂度。
• 将关于 lp 范数的已知结果推广至新的对称范数（如 top-k 范数和 k-support 范数），这些范数此前在流式环境中尚未被研究。

提出的方法

• 定义浓度模量 mc(l) = bl / Ml，其中 bl 是范数 l 在 l2 单位球面上的最大值，Ml 是其在该球面上的中位数。
• 利用测度集中性现象——特别是球面上的测度集中性——来界定流式算法的空间复杂度。
• 构造一个大小为 s · poly(log n / ϵ) 的通用 sketch，支持任意对称范数的 (1±ϵ)-近似，其空间复杂度为 s。
• 利用范数的对偶性与对称性，包括 Q-范数及其对偶，推导出紧致界。
• 应用高维几何中的技术，包括 Dvoretzky 定理和大偏差界，将几何性质与算法复杂度联系起来。
• 通过可逆线性变换进行约化与变换，将结果推广至非对称范数，证明空间复杂度在这些变换下保持不变。

实验结果

研究问题

• RQ1 任意对称范数的流式空间复杂度是多少？能否用范数的几何性质来刻画？
• RQ2 能否构造一个单一的通用 sketch，使其在近乎最优的空间复杂度下支持所有对称范数的 (1±ϵ)-近似？
• RQ3 对称范数的空间复杂度如何随近似比 D ≥1 变化？D⁻² 的依赖关系是否最优？
• RQ4 为何 p > 2 的 lp 范数比 p ≤ 2 的 lp 范数需要显著更多的空间？这一现象能否得到统一解释？
• RQ5 浓度模量 mc(l) 能否作为对称范数之外的流式范数的通用复杂度参数？

主要发现

• 对于任意对称范数 l，其在 (1±ϵ)-近似下的流式空间复杂度为 Θ(mc(l)² log n)，最多相差 poly(ϵ⁻¹ log n) 因子。
• 对于近似比 D ≥1，空间复杂度随 D⁻² 减小，且该依赖关系是最优的。
• 浓度模量 mc(l) = bl / Ml 决定了复杂度，其中 Ml 是范数 l 在 l2 单位球面上的中位数。
• 本文通过证明对称范数可构造大小为 s · poly(log n / ϵ) 的通用 sketch（空间复杂度为 s），解决了开放问题 30（通用 sketching）。
• 此前在流式环境中未被研究的 k-support 范数和 top-k 范数，其空间复杂度由其 mc(l) 决定，从而实现了高效近似。
• 结果通过限制对角矩阵推广至酉不变矩阵范数，并通过可逆线性变换 lA = l(A·) 推广至变换后的范数，空间复杂度保持不变。