[论文解读] Zero Attracting PNLMS Algorithm and Its Convergence in Mean

Rajib Lochan Das, Mrityunjoy Chakraborty|arXiv (Cornell University)|Jul 10, 2015

Advanced Adaptive Filtering Techniques参考文献 23被引用 3

一句话总结

本文提出零吸引P-NLMS（ZA-PNLMS）算法，通过引入l1-范数惩罚项以促进稀疏性，从而加快收敛速度并降低稳态超额均方误差（EMSE）。该方法引入零吸引子，使非活跃抽头系数缩小，缓解了PNLMS在后期迭代中因非活跃抽头步长减小而导致的收敛变慢问题。

ABSTRACT

The proportionate normalized least mean square (PNLMS) algorithm and its variants are by far the most popular adaptive filters that are used to identify sparse systems. The convergence speed of the PNLMS algorithm, though very high initially, however, slows down at a later stage, even becoming worse than sparsity agnostic adaptive filters like the NLMS. In this paper, we address this problem by introducing a carefully constructed l1 norm (of the coefficients) penalty in the PNLMS cost function which favors sparsity. This results in certain zero attractor terms in the PNLMS weight update equation which help in the shrinkage of the coefficients, especially the inactive taps, thereby arresting the slowing down of convergence and also producing lesser steady state excess mean square error (EMSE). We also carry out the convergence analysis (in mean) of the proposed algorithm.

研究动机与目标

• 解决PNLMS在后期迭代中因非活跃抽头步长减小而导致的收敛缓慢问题。
• 改善稀疏系统辨识中PNLMS的瞬态与稳态性能。
• 通过系数收缩促进稀疏性，降低稳态EMSE。
• 尽管引入了增益矩阵和零吸引子，仍对所提出的ZA-PNLMS算法进行严格的均值收敛性分析。

提出的方法

• 在PNLMS代价函数中引入l1-范数惩罚项，以偏好稀疏解。
• 推导出包含零吸引子项的修正权重更新方程，使非活跃抽头系数向零靠拢。
• 使用变换域等效模型以简化收敛性分析。
• 采用连续值随机向量的角离散化方法，以处理增益矩阵和零吸引子的统计复杂性。
• 在递归最小均方（RLMS）框架下使用对角增益矩阵G(n)，其步长按抽头权重幅值自适应调整。
• 通过假设在稳态下G⁻¹/²(n)与sign(w(n))统计独立，实现均值收敛性分析，从而推导出偏差表达式。

实验结果

研究问题

• RQ1 l1-范数惩罚的引入如何影响PNLMS在稀疏系统中的收敛行为？
• RQ2 与标准PNLMS相比，零吸引子机制在多大程度上降低了稳态EMSE？
• RQ3 尽管存在增益矩阵和非线性零吸引子项，能否对ZA-PNLMS执行严格的均值收敛性分析？
• RQ4 ZA-PNLMS算法中，估计抽头权重的偏差如何随真实最优权重幅值变化？
• RQ5 零吸引子对算法在后期迭代中的收敛速度和稳定性有何影响？

主要发现

• ZA-PNLMS算法通过主动缩小非活跃抽头系数，实现了比标准PNLMS更快的收敛速度和更低的稳态EMSE。
• 具有较大幅值的活跃抽头在估计中偏差较小，而小幅值活跃抽头的偏差随其增益因子的倒数成比例增加。
• 非活跃抽头（w_opt,i = 0）在稳态下表现出可忽略的偏差，这是由于零吸引子使其估计值被限制在零附近的小范围内。
• 均值收敛性分析表明，估计权重收敛于比真实最优权重更接近原点的值，尤其对活跃抽头更为明显。
• 仿真结果验证了E[w_i(n)]对大幅值活跃抽头（如w_opt,37 = 0.9）收敛至最优值，而小幅值抽头（如w_opt,55 = 0.1）则表现出可测量的偏差。
• 偏差随最优抽头幅值增大而定量减小，该结论通过图6中的学习曲线和偏差-幅值关系图得到验证。