[论文解读] Variational Bayes Inference in Digital Receivers

Viet Hung Tran|arXiv (Cornell University)|Nov 3, 2018

Blind Source Separation Techniques参考文献 150被引用 4

一句话总结

该论文提出了一种新颖的框架，利用变分贝叶斯（VB）和广义分配律（GDL）实现数字接收机中高效贝叶斯推理，以在计算复杂度与估计精度之间取得平衡。该框架引入了无再需要（NLN）算法和一种广义前向-后向（FB）递归，实现精确计算；并提出变换变分贝叶斯（TVB）方法以提升近似质量，将隐马尔可夫链中的计算负载从 O(nM²) 降低至 O(nM)，同时保持精度。

ABSTRACT

The digital telecommunications receiver is an important context for inference methodology, the key objective being to minimize the expected loss function in recovering the transmitted information. For that criterion, the optimal decision is the Bayesian minimum-risk estimator. However, the computational load of the Bayesian estimator is often prohibitive and, hence, efficient computational schemes are required. The design of novel schemes, striking new balances between accuracy and computational load, is the primary concern of this thesis. Two popular techniques, one exact and one approximate, will be studied. The exact scheme is a recursive one, namely the generalized distributive law (GDL), whose purpose is to distribute all operators across the conditionally independent (CI) factors of the joint model, so as to reduce the total number of operators required. In a novel theorem derived in this thesis, GDL, if applicable, will be shown to guarantee such a reduction in all cases. An associated lemma also quantifies this reduction. For practical use, two novel algorithms, namely the no-longer-needed (NLN) algorithm and the generalized form of the Markovian Forward-Backward (FB) algorithm, recursively factorizes and computes the CI factors of an arbitrary model, respectively. The approximate scheme is an iterative one, namely the Variational Bayes (VB) approximation, whose purpose is to find the independent (i.e. zero-order Markov) model closest to the true joint model in the minimum Kullback-Leibler divergence (KLD) sense. Despite being computationally efficient, this naive mean field approximation confers only modest performance for highly correlated models. A novel approximation, namely Transformed Variational Bayes (TVB), will be designed in the thesis in order to relax the zero-order constraint in the VB approximation, further reducing the KLD of the optimal approximation.

研究动机与目标

• 解决数字接收机中贝叶斯最小风险估计的高计算复杂度问题。
• 为实时应用开发兼顾精度与计算负载的高效推理方案。
• 利用条件独立（CI）结构，将马尔可夫因子分解推广至任意参数化模型。
• 设计新颖算法，用于概率数字接收机模型中的精确（基于GDL）与近似（基于VB）推理。
• 实现高服务质量（QoS）需求的4G及未来移动网络中贝叶斯推理的实际部署。

提出的方法

• 在变量索引上提出条件独立（CI）结构，以重新分解后验联合分布为可处理的马尔可夫模型。
• 引入无再需要（NLN）算法，用于计算任意目标函数的双向CI结构。
• 应用广义分配律（GDL）将环和运算符分布在CI因子上，保证计算运算符数量的减少。
• 开发广义前向-后向（FB）递归，以高效计算CI因子，区别于传统FB算法。
• 提出变换变分贝叶斯（TVB）方法，以放松标准VB的平均场假设，降低Kullback-Leibler散度。
• 将加速VB方案应用于隐马尔可夫链（HMCs），实现从 O(nM²) 到 O(nM) 的复杂度降低。

实验结果

研究问题

• RQ1 能否在数字接收机推理中，为任意目标函数系统性地推导出条件独立（CI）结构？
• RQ2 广义分配律（GDL）能否应用于保证贝叶斯推理中计算运算符数量的可证明减少？
• RQ3 能否通过新型加速变分贝叶斯（VB）方案，将HMC推理的复杂度从 O(nM²) 降低至 O(nM)，同时不牺牲精度？
• RQ4 变换变分贝叶斯（TVB）方法能否在高度相关模型中优于标准VB，提升近似质量？
• RQ5 所提出的框架能否实现高QoS需求的4G移动网络中实际的贝叶斯推理？

主要发现

• NLN算法成功计算出任意目标函数的双向CI结构，实现了高效因子分解。
• 基于GDL的计算在应用于CI结构时，保证了运算符数量的严格正减少。
• 广义前向-后向（FB）递归可高效计算任意模型中的CI因子。
• 针对HMCs的加速VB方案将计算复杂度从 O(nM²) 降低至 O(nM)，其性能与维特比算法相当，且精度相近。
• 变换变分贝叶斯（TVB）方法相比标准VB降低了Kullback-Leibler散度，在相关模型中提升了近似质量。
• 尽管仿真性能提升有限，TVB为高QoS 4G移动网络中的近似贝叶斯推理开辟了新路径。