[论文解读] Optimal quantizer structure for binary discrete input continuous output channels under an arbitrary quantized-output constraint

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Jan 8, 2020

Error Correcting Code Techniques参考文献 17被引用 5

一句话总结

该论文通过证明最优量化器结构由后验概率空间 $ r_y $ 中的凸胞腔组成，提出了在任意量化输出约束下，针对二元离散输入连续输出信道的全局最优量化器。利用动态规划，该方法实现了多项式时间复杂度，并建立了单阈值量化器最优的充分条件，扩展了先前关于输出约束下互信息最大化的研究。

ABSTRACT

Given a channel having binary input X = (x_1, x_2) having the probability distribution p_X = (p_{x_1}, p_{x_2}) that is corrupted by a continuous noise to produce a continuous output y \in Y = R. For a given conditional distribution p(y|x_1) = ϕ_1(y) and p(y|x_2) = ϕ_2(y), one wants to quantize the continuous output y back to the final discrete output Z = (z_1, z_2, ..., z_N) with N \leq 2 such that the mutual information between input and quantized-output I(X; Z) is maximized while the probability of the quantized-output p_Z = (p_{z_1}, p_{z_2}, ..., p_{z_N}) has to satisfy a certain constraint. Consider a new variable r_y=p_{x_1}ϕ_1(y)/ (p_{x_1}ϕ_1(y)+p_{x_2}ϕ_2(y)), we show that the optimal quantizer has a structure of convex cells in the new variable r_y. Based on the convex cells property of the optimal quantizers, a fast algorithm is proposed to find the global optimal quantizer in a polynomial time complexity.

研究动机与目标

• 为解决在任意输出约束下，针对二元输入连续输出信道的全局最优量化器设计缺乏的问题。
• 证明最优量化器结构为后验概率空间 $ r_y $ 中的凸胞腔，从而实现高效搜索。
• 在一般输出约束下，开发一种寻找全局最优量化器的多项式时间算法。
• 确定单阈值量化器在原始 $ y $-空间中为最优的充分条件。

提出的方法

• 引入后验概率比 $ r_y = \frac{p_{x_1}\phi_1(y)}{p_{x_1}\phi_1(y) + p_{x_2}\phi_2(y)} $ 作为量化器设计的关键变换空间。
• 证明任何量化器均可被替换为在 $ r_y $-空间中等效的凸胞腔量化器，且互信息无损失，输出概率约束违反无增加。
• 在 $ r_y $-空间上使用动态规划，针对加法型约束结构，以多项式时间复杂度搜索全局最优量化器。
• 基于 $ \frac{\phi_2(y)}{\phi_1(y)} $ 的单调性，推导出充分条件，确保在 $ y $-空间中单阈值量化器为最优。
• 通过归纳法与结构分解，递归证明随输出级别数增加，凸胞腔性质成立。
• 通过求解 $ r_y = a^* $ 得到最优阈值 $ a^* \in (0,1) $，构建最终的量化器阈值。

实验结果

研究问题

• RQ1 在对输出分布 $ p_Z $ 的任意约束下，最大化互信息 $ I(X;Z) $ 的量化器最优结构形式为何？
• RQ2 在这些约束下，能否在多项式时间内找到全局最优量化器？
• RQ3 在何种条件下，原始 $ y $-空间中的单阈值量化器为最优？
• RQ4 后验概率空间 $ r_y $ 是否具有可简化优化的凸胞腔结构？
• RQ5 当约束在输出概率上为加法型时，能否通过动态规划构造最优量化器？

主要发现

• 在任意输出约束下，二元输入连续输出信道的最优量化器在后验概率空间 $ r_y $ 中具有凸胞腔结构。
• 当约束在输出概率上为加法型（如熵或功率）时，通过动态规划可在多项式时间内找到全局最优量化器。
• 对于二元量化输出（$ N=2 $），若 $ \frac{\phi_2(y)}{\phi_1(y)} $ 严格单调，则单阈值量化器为最优。
• 互信息 $ I(X;Z) $ 在用具有相同输出分布 $ p_Z $ 的凸胞腔量化器替换任意量化器时，不会减少。
• 所提算法实现全局最优，而先前工作仅能获得局部或近似全局最优解。
• 该算法的时间复杂度在量化级别数上为多项式，使其适用于实际应用。