[论文解读] ORKA: Accelerated Kaczmarz Algorithms for Signal Recovery from One-Bit Samples

Arian Eamaz, Farhang Yeganegi+2 more|arXiv (Cornell University)|Dec 8, 2022

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

ORKA 提出了一种加速的随机 Kaczmarz 算法，用于从具有时变阈值的一比特采样中恢复信号，利用采样丰富性将非凸二次问题转化为线性可行性问题。该方法实现了更高的恢复精度和速度，相较于 ℓ¹-最小化，使用更少的比特和更低的计算成本。

ABSTRACT

One-bit quantization with time-varying sampling thresholds has recently found significant utilization potential in statistical signal processing applications due to its relatively low power consumption and low implementation cost. In addition to such advantages, an attractive feature of one-bit analog-to-digital converters (ADCs) is their superior sampling rates as compared to their conventional multi-bit counterparts. This characteristic endows one-bit signal processing frameworks with what we refer to as sample abundance. On the other hand, many signal recovery and optimization problems are formulated as (possibly non-convex) quadratic programs with linear feasibility constraints in the one-bit sampling regime. We demonstrate, with a particular focus on the nuclear norm minimization, that the sample abundance paradigm allows for the transformation of such quadratic problems to merely a linear feasibility problem by forming a large-scale overdetermined linear system; thus removing the need for costly optimization constraints and objectives. To make this achievable, we propose enhanced randomized Kaczmarz algorithms to tackle these highly overdetermined feasibility problems. Several numerical results are presented to illustrate the effectiveness of the proposed methodologies.

研究动机与目标

• 解决具有时变阈值的一比特采样中的信号恢复挑战，此类采样具有高采样率和低功耗优势。
• 利用一比特采样中的采样丰富性，将复杂优化问题转化为线性可行性问题，避免昂贵的目标函数和约束。
• 开发加速的 Kaczmarz 算法，以高效求解由一比特测量产生的大规模超定线性系统。
• 通过自适应阈值和增强收敛性，提升低秩矩阵恢复和压缩感知中的恢复性能。
• 证明 ORKA 在使用远少于传统多比特 ADC 的比特数时，可实现接近最优的恢复效果，且精度更高、计算成本更低。

提出的方法

• ORKA 通过利用多个时变阈值带来的采样丰富性，将信号恢复建模为线性可行性问题，将非凸二次规划转化为超定线性系统。
• 采用两种增强的随机 Kaczmarz 算法——PrSKM 和块 SKM——专为在高度超定系统中实现快速收敛而设计。
• 算法通过迭代投影到由一比特测量定义的超平面上，结合自适应阈值选择，以提升收敛性和精度。
• 该方法利用由多个阈值序列的符号约束形成的一比特多面体结构，以限制解空间。
• 采用最大似然估计框架推导似然函数，并将其松弛为带 ℓ¹-正则化的凸问题。
• 理论分析表明，ORKA 相较于标准 Kaczmarz 方法，实现了全局收敛并具有更快的收敛速率。

实验结果

研究问题

• RQ1 能否利用具有时变阈值的一比特采样中的采样丰富性，以消除昂贵的优化目标函数和约束？
• RQ2 如何加速随机 Kaczmarz 方法，以高效求解由一比特测量产生的大规模线性可行性问题？
• RQ3 在压缩感知和低秩恢复中，ORKA 相较于传统 ℓ¹-最小化，在精度和计算成本方面有何性能提升？
• RQ4 自适应阈值如何改善一比特采样框架中的信号恢复性能？
• RQ5 ORKA 是否能以远少于传统多比特 ADC 的比特数，实现接近最优的恢复效果？

主要发现

• ORKA 仅使用 500 个比特即实现归一化均方误差（NMSE）为 3.2052×10⁻¹²，优于 ℓ¹-最小化方法，后者需 6400 个比特（100 次采样，每次 64 位分辨率）才能达到 2.4572×10⁻¹¹ 的相似 NMSE。
• ORKA 的 CPU 时间为 3.1240×10⁻⁴ 秒，显著低于 ℓ¹-最小化所需的 0.0071 秒，证明了其卓越的计算效率。
• 将时变阈值序列数量从 10 增加到 60 可提升恢复性能，随着采样数量增加，NMSE 降低。
• 对于高维信号（n=128），ORKA 在稀疏度水平 k=20 和 k=40 下均实现 NMSE 为 3.2052×10⁻¹²，验证了其在不同信号模型下的鲁棒性。
• ORKA 通过 PrSKM 和块 SKM 实现收敛加速，能够以快于标准 Kaczmarz 方法的速率，全局求解一比特多面体。
• 该方法成功将核范数最小化和压缩感知问题转化为线性可行性问题，消除了对目标函数迭代优化的需求。