[论文解读] On the error probability of stochastic decision and stochastic decoding

Jun Muramatsu, Shigeki Miyake|arXiv (Cornell University)|Jan 18, 2017

Error Correcting Code Techniques参考文献 10被引用 3

一句话总结

本文证明，基于后验分布的随机决策的错误概率至多为最优最大后验（MAP）决策错误概率的两倍。通过从后验分布进行独立同分布采样并选择最可能的序列，随机决策的错误概率会以指数速度收敛至MAP错误率，从而实现高效随机译码器，适用于信源与信道编码。

ABSTRACT

This paper investigates the error probability of a stochastic decision and the way in which it differs from the error probability of an optimal decision, i.e., the maximum a posteriori decision. This paper calls attention to the fact that the error probability of a stochastic decision with the a posteriori distribution is at most twice the error probability of the maximum a posteriori decision. It is shown that, by generating an independent identically distributed random sequence subject to the a posteriori distribution and making a decision that maximizes the a posteriori probability over the sequence, the error probability approaches exponentially the error probability of the maximum a posteriori decision as the sequence length increases. Using these ideas as a basis, we can construct stochastic decoders for source/channel codes.

研究动机与目标

• 分析随机决策的错误概率与最优最大后验（MAP）决策错误概率的比较。
• 建立随机决策规则相对于MAP决策的错误概率的理论界限。
• 构建一种基于从后验分布进行马尔可夫链蒙特卡洛（MCMC）采样的框架，用于构造信源与信道编码的随机译码器。
• 证明随机译码的错误概率随序列长度增加而以指数速度趋近于MAP错误率。
• 提出一种受约束的随机数生成算法，用于在满足线性约束条件下从后验分布中采样。

提出的方法

• 使用由条件分布 $ q_{\widehat{X}|Y} $ 定义的随机决策规则，其中 $ \widehat{X} $ 从后验分布 $ p_{X|Y} $ 中抽取，形成马尔可夫链 $ X \leftrightarrow Y \leftrightarrow \widehat{X} $。
• 应用马尔可夫链蒙特卡洛（MCMC）方法，在满足线性约束 $ A\boldsymbol{x} = \boldsymbol{c} $ 的条件下，通过变量块上的吉布斯采样从后验分布生成样本。
• 采用一种受约束的随机数生成算法，通过迭代重采样变量以最大化对数后验 $ \Lambda = \sum_j \log \mu_{X_j|Y_j}(x_j|y_j) $，并追踪最大似然序列 $ \boldsymbol{x}_{\max} $。
• 使用系统矩阵形式 $ A = [\underline{A} \mid I] $ 表示线性约束，通过 $ v_{i,j}(x) = x_i + a_{i-n+l,j}[x_j - x] $ 实现变量更新的高效计算。
• 为变量 $ x_j $ 定义一个重采样概率分布 $ \nu(x'_j) $，其条件依赖于其在支持集 $ \mathcal{I}_j $ 中的邻居，确保约束条件得以保持。
• 证明MCMC链收敛至真实后验分布：$ \lim_{k\to\infty} d(P_k(\cdot|\boldsymbol{y},\boldsymbol{c}), p_{\boldsymbol{X}|\boldsymbol{Y}\boldsymbol{C}}(\cdot|\boldsymbol{y},\boldsymbol{c})) = 0 $。

实验结果

研究问题

• RQ1 基于后验分布的随机决策错误概率与最优MAP决策错误概率之间的最坏情况比值是多少？
• RQ2 基于从后验分布进行独立同分布采样的随机译码器的错误概率与MAP错误率相比如何？
• RQ3 能否构造一种渐近意义上可达到MAP译码错误性能的随机译码器？
• RQ4 在编码问题中，基于MCMC的后验分布采样在满足线性约束条件下的收敛行为如何？
• RQ5 如何设计一种高效的受约束随机数生成器，以在编码应用中从后验分布中采样？

主要发现

• 基于后验分布的随机决策错误概率至多为最优MAP决策错误概率的两倍。
• 通过从后验分布生成独立同分布序列并选择最可能的序列，随机决策的错误概率会随着序列长度增加而以指数速度趋近于MAP错误概率。
• 基于MCMC的受约束随机数生成算法收敛至真实后验分布：$ \lim_{k\to\infty} d(P_k(\cdot|\boldsymbol{y},\boldsymbol{c}), p_{\boldsymbol{X}|\boldsymbol{Y}\boldsymbol{C}}(\cdot|\boldsymbol{y},\boldsymbol{c})) = 0 $。
• 该算法确保每次更新后的序列 $ \boldsymbol{x} $ 均满足线性约束 $ A\boldsymbol{x} = \boldsymbol{c} $，从而在整个采样过程中保持可行性。
• 该方法通过从后验分布采样近似MAP决策，从而实现了信源与信道码的随机译码器的构建。
• 该方法在任意初始可行序列下均保证收敛，且对任意联合分布 $ p_{\boldsymbol{Y}\boldsymbol{C}} $ 均成立。