[论文解读] Random Tessellations, Restricted Isometric Embeddings, and One Bit Sensing

Dmitriy Bilyk, Michael T. Lacey|arXiv (Cornell University)|Dec 21, 2015

Sparse and Compressive Sensing Techniques参考文献 14被引用 9

一句话总结

本文证明，使用随机高斯测量的一比特压缩感知可实现受限等距性（RIP）特性，其界与线性感知一致，表明一比特映射在保留稀疏向量结构方面与线性映射效果相当。对于 $ \mathbb{S}^n $ 中的 $ s $-稀疏单位向量，以高概率只需 $ m \gtrsim \delta^{-2}s\log(n/s) $ 个测量即可在哈密顿立方体中实现 $ \delta $-RIP，其性能与线性RIP一致。

ABSTRACT

We obtain mproved bounds for one bit sensing. For instance, let $ K_s$ denote the set of $ s$-sparse unit vectors in the sphere $ \mathbb S ^{n}$ in dimension $ n+1$ with sparsity parameter $ 0 < s < n+1$ and assume that $ 0 < δ< 1$. We show that for $ m \gtrsim δ^{-2} s \log \frac ns$, the one-bit map $$ x \mapsto \bigl[ {sgn} \langle x,g_j angle \bigr] _{j=1} ^{m}, $$ where $ g_j$ are iid gaussian vectors on $ \mathbb R ^{n+1}$, with high probability has $ δ$-RIP from $ K_s$ into the $ m$-dimensional Hamming cube. These bounds match the bounds for the {linear} $ δ$-RIP given by $ x \mapsto \frac 1m[\langle x,g_j angle ] _{j=1} ^{m} $, from the sparse vectors in $ \mathbb R ^{n}$ into $ \ell ^{1}$. In other words, the one bit and linear RIPs are equally effective. There are corresponding improvements for other one-bit properties, such as the sign-product RIP property.

研究动机与目标

• 建立与线性感知相匹配的一比特压缩感知的紧致界。
• 证明一比特映射在高维球面上保留稀疏向量结构的效果与线性映射相当。
• 证明在哈密顿立方体中实现 $ \delta $-受限等距嵌入（RIP）所需的测量数与线性情况一致。
• 分析由随机超平面诱导的稀疏集的剖分结构，并将其与度量熵和VC维联系起来。
• 将结果扩展至符号积嵌入及对称半球差的均匀熵类。

提出的方法

• 使用独立同分布的高斯向量 $ g_j \sim \mathcal{N}(0, I_{n+1}) $，通过内积的符号定义一比特测量。
• 应用占用时间问题的启发式方法，估计实现随机剖分中小胞的测量数量。
• 利用度量熵 $ N(K, \delta) $ 和 $ \delta $-分离集 $ M(K, \delta) $ 控制胞的直径。
• 运用VC维理论与Sauer引理，控制与稀疏向量相关的对称半球差的复杂度。
• 应用Panchenko的均匀熵界与链式方法，推导 $ \mathcal{W}_s $ 上经验过程的高概率上确界界。
• 推导经验对称半球差测度偏离其期望的高概率集中不等式。

实验结果

研究问题

• RQ1 一比特感知能否实现与线性感知相同测量复杂度的受限等距嵌入？
• RQ2 为确保在球面上 $ s $-稀疏向量的剖分中实现 $ \delta $-小胞，所需的最少一比特测量数是多少？
• RQ3 集合 $ K_s $ 的度量熵与实现小胞剖分所需的随机超平面数量有何关系？
• RQ4 符号线性映射在哈密顿立方体中在多大程度上保留了稀疏向量之间的距离？
• RQ5 对称半球差的均匀熵界能否用于控制一比特感知中经验过程的偏差？

主要发现

• 对于 $ K_s $（即 $ \mathbb{S}^n $ 中的 $ s $-稀疏单位向量集），以高概率只需 $ m \gtrsim \delta^{-2}s\log(n/s) $ 个测量即可在哈密顿立方体中实现 $ \delta $-RIP。
• 一比特映射 $ x \mapsto \textup{sgn}(\langle x, g_j \rangle)_{j=1}^m $ 的 $ \delta $-RIP 所需测量数 $ m $ 的量级与线性映射 $ x \mapsto \frac{1}{m}[\langle x, g_j \rangle]_{j=1}^m $ 一致。
• 以高概率，若 $ m > C\delta^{-1}\log N(K, c\delta) $，则 $ K \subset \mathbb{S}^n $ 诱导的剖分中胞的直径至多为 $ \delta $。
• 对于任意 $ x, y \in K_s $ 满足 $ d(x,y) > \delta $，以高概率至少有 $ c\delta m $ 个测量在符号上不同。
• 对 $ s $-稀疏向量的对称半球差类具有均匀熵界 $ N(\mathcal{W}_s, d_P, \delta) \lesssim \binom{n+1}{s}^2 (\delta/2)^{-12s-24} $。
• 高概率集中不等式成立：以至少 $ 1 - 2e^{-u^2} $ 的概率，有 $$ \sup_{d(x,y)<\eta} \frac{1}{\sqrt{m}} \sum_{j=1}^m (\mathbf{1}_{W_{x,y}}(\theta_j) - d(x,y)) \lesssim \int_0^{\eta^{1/2}} \sqrt{s\log_+\frac{n}{s} + s\log_+\frac{1}{t}} dt + u\sqrt{\eta} $$