[论文解读] Single-bit Quantization Capacity of Binary-input Continuous-output Channels

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Jan 7, 2020

Error Correcting Code Techniques参考文献 20被引用 4

一句话总结

该论文提出了一种线性时间算法，用于联合优化二元输入连续输出信道的输入分布和1比特量化器阈值，以最大化互信息 I(X;Z)。通过利用最优量化器和输入分布的解析性质，该方法缩小了搜索空间，实现了高效全局优化，具有已证明的收敛性，并在指定高斯噪声条件下得出了关键结果 I(X;Z)* = 0.7249。

ABSTRACT

We consider a channel with discrete binary input X that is corrupted by a given continuous noise to produce a continuous-valued output Y. A quantizer is then used to quantize the continuous-valued output Y to the final binary output Z. The goal is to design an optimal quantizer Q* and also find the optimal input distribution p*(X) that maximizes the mutual information I(X; Z) between the binary input and the binary quantized output. A linear time complexity searching procedure is proposed. Based on the properties of the optimal quantizer and the optimal input distribution, we reduced the searching range that results in a faster implementation algorithm. Both theoretical and numerical results are provided to illustrate our method.

研究动机与目标

• 解决二元输入连续输出信道中输入分布与1比特量化器阈值的联合优化问题，以最大化互信息 I(X;Z)。
• 克服互信息在量化器参数下非凸/非凹的性质，该性质使得标准凸优化技术无法适用。
• 通过推导最优解空间的解析边界，降低全局优化的计算复杂度。
• 为通信系统中的实际应用提供一种具有收敛性证明、时间复杂度为线性的算法。

提出的方法

• 基于似然比 r = φ₀(y)/φ₁(y) 的二分查找方法，以寻找最优量化阈值。
• 通过证明 A₁₁* > 1/e 且 A₂₂* > 1/e（其中 Aᵢⱼ 为最优信道矩阵的元素），推导出最优互信息的解析边界。
• 利用 f(r)（给定输入为0时输出为0的概率）和 g(r)（给定输入为1时输出为1的概率）的单调性特性，缩小搜索区间。
• 在缩小后的区间 [0.8, 9.1] 内进行分辨率 ε = 0.01 的穷举搜索，以定位 I(X;Z) 的全局最大值。
• 利用 f(r) 随 r 递减、g(r) 随 r 递增的特性，实现高效的二分查找，以确定 f(r) = 1/e 和 g(r) = 1/e 的边界。
• 应用定理3、5和6的理论结果，对 r 的可行区域进行约束，显著降低计算负载。

实验结果

研究问题

• RQ1 在二元输入连续输出信道中，使互信息 I(X;Z) 最大的全局最优输入分布与1比特量化器阈值是什么？
• RQ2 如何通过解析方法缩小最优量化器阈值的搜索空间，以提高计算效率？
• RQ3 最优解存在的前提下，信道矩阵元素 A₁₁ 和 A₂₂ 需满足哪些必要条件？
• RQ4 能否设计一种时间复杂度为线性的算法，在量化器参数的互信息非凸性下仍能实现全局最优？

主要发现

• 当 φ₀ ~ N(−1, 6) 且 φ₁ ~ N(1, 5) 时，最优互信息 I(X;Z)* 为 0.7249，对应 r* = 1.36。
• 最优量化器阈值对应的似然比为 r* = 1.36，位于由条件 A₁₁* > 1/e 和 A₂₂* > 1/e 推导出的缩小后搜索区间 [0.8, 9.1] 内。
• 函数 f(r)（P(Z=0|X=0)）严格递减，g(r)（P(Z=1|X=1)）严格递增，支持高效的二分查找。
• 最优输入分布满足 A₁₁ ≥ p₀ 且 A₂₂ ≥ p₁，该结果由条件 (A₁₁ − p₀)(A₂₂ − p₁) ≥ 0 和 A₁₁ + A₂₂ ≥ 1 推导得出。
• 通过理论边界的搜索空间缩减带来了显著的速度提升，使得尽管问题本身非凸，仍能实现线性时间复杂度的算法。
• 该方法在给定约束下保证了全局最优性，而不同于可能失败或收敛到次优解的启发式或近似最优方法。