[论文解读] One Bit Sensing, Discrepancy, and Stolarsky Principle

Dmitriy Bilyk, Michael T. Lacey|arXiv (Cornell University)|Nov 26, 2015

Sparse and Compressive Sensing Techniques参考文献 14被引用 5

一句话总结

本文通过将限制等距性（RIP）与几何不均度理论联系起来，确定了球面上一比特感知映射的最优缩放比例。证明了满足 $ \delta $-RIP 所需的最小超平面数 $ N(d,\delta) $ 的缩放比例为 $ \delta^{-2 + \frac{2}{d+1}} $，忽略对数因子，揭示了在 $ \delta $-依赖关系中存在维度修正，优于以往的随机采样界，且通过抖动采样和 Stolarsky 型不变性原理推导得出。

ABSTRACT

A sign-linear one bit map from the $ d$-dimensional sphere $ \mathbb S ^{d}$ to the $ n$-dimensional Hamming cube $ H^n= \{ -1, +1\} ^{n}$ is given by $$ x o \{ \mbox{sign} (x \cdot z_j) \;:\; 1\leq j \leq n\} $$ where $ \{z_j\} \subset \mathbb S ^{d}$. For $ 0 < δ< 1$, we estimate $ N (d, δ)$, the smallest integer $ n$ so that there is a sign-linear map which has the $ δ$-restricted isometric property, where we impose normalized geodesic distance on $ \mathbb S ^{d}$, and Hamming metric on $ H^n$. Up to a polylogarithmic factor, $ N (d, δ) \approx δ^{-2 + \frac2{d+1}}$, which has a dimensional correction in the power of $ δ$. This is a question that arises from the one bit sensing literature, and the method of proof follows from geometric discrepancy theory. We also obtain an analogue of the Stolarsky invariance principle for this situation, which implies that minimizing the $L^2$ average of the embedding error is equivalent to minimizing the discrete energy $\sum_{i,j} \big( \frac12 - d(z_i,z_j) \big)^2$, where $d$ is the normalized geodesic distance.

研究动机与目标

• 确定从 $ \mathbb{S}^d $ 到 $ H^N $ 的符号线性一比特映射所需满足 $ \delta $-受限等距性（RIP）的最小超平面数 $ N(d,\delta) $。
• 解析 $ N(d,\delta) $ 对维度 $ d $ 和误差容限 $ \delta $ 的依赖关系，揭示其在标准 $ \delta^{-2} $ 缩放之外的维度修正项。
• 建立一比特感知的 Stolarsky 不变量原理类比，将 $ L^2 $ 嵌入误差与成对测地距离的离散能量联系起来。
• 证明抖动采样可实现最优的 $ L^2 $ 不均度缩放，为 $ N(d,\delta) $ 提供构造性上界。

提出的方法

• 使用符号线性映射 $ \varphi_Z(x) = \{ \text{sgn}(z_j \cdot x) \} $，其中 $ z_j \in \mathbb{S}^d $，将球面嵌入到汉明立方体 $ H^N $ 中。
• 应用几何不均度理论来界定嵌入误差 $ \| \Delta_Z(x,y) \|^2_2 $ 的 $ L^2 $ 范数，其定义为汉明距离与测地距离之差。
• 利用 Stolarsky 不变量原理，将期望 $ L^2 $ 误差等价为离散能量项：$ \mathbb{E}_Z \| \Delta_Z \|^2_2 \propto \sum_{i,j} \left( \frac{1}{2} - d(z_i,z_j) \right)^2 $。
• 采用抖动（分层）采样——将 $ \mathbb{S}^d $ 划分为 $ N $ 个体积相等的区域，并在每个区域中随机放置一个点——以构造实现最优不均度的点集。
• 推导测地距离的二阶矩 $ V_d = \mathbb{E}_{x,y} d(x,y)^2 $，以计算随机情况下的期望误差。
• 结合上下界：上界通过抖动采样与不均度估计获得，下界通过几何不均度理论中的通用不均度原理获得。

实验结果

研究问题

• RQ1 满足 $ \mathbb{S}^d $ 上 $ \delta $-RIP 所需的最小超平面数 $ N(d,\delta) $ 是多少？
• RQ2 在 $ N(d,\delta) $ 的缩放关系中，$ \delta $ 的幂次是否表现出超越标准 $ \delta^{-2} $ 行为的维度修正？
• RQ3 能否将嵌入误差的 $ L^2 $ 平均值表示为超平面方向的离散能量泛函？
• RQ4 抖动采样是否在球面上实现了一比特感知的最优 $ L^2 $ 楔形不均度？

主要发现

• 满足 $ \delta $-RIP 所需的最小超平面数 $ N(d,\delta) $ 的缩放比例为 $ \delta^{-2 + \frac{2}{d+1}} $，忽略对数因子，相较于随机构造中的 $ \delta^{-2} $ 缩放，体现了维度修正。
• 嵌入误差 $ \| \Delta_Z(x,y) \|^2_2 $ 的 $ L^2 $ 平均值精确等于 $ \frac{1}{N} \left( \frac{1}{2} - V_d \right) $，其中 $ V_d $ 为 $ \mathbb{S}^d $ 上测地距离的二阶矩。
• 存在一个类 Stolarsky 的不变性原理：最小化 $ L^2 $ 嵌入误差等价于最小化离散能量 $ \sum_{i,j} \left( \frac{1}{2} - d(z_i,z_j) \right)^2 $。
• 抖动采样实现了 $ O(N^{-1 - \frac{1}{d}}) $ 阶的 $ L^2 $ 不均度界，与任意 $ N $-点集的已知下界一致。
• 在低维情况下，测地距离的二阶矩 $ V_d $ 被显式计算，例如 $ V_2 = \frac{1}{2} - \frac{2}{\pi^2} $ 和 $ V_3 = \frac{1}{3} - \frac{1}{2\pi^2} $。
• 结果表明，当 $ d $ 较大时，所需超平面数的增长速度慢于 $ \delta^{-2} $，反映了高维一比特感知中效率的提升。