[论文解读] Regularized Least-Mean-Square Algorithms

Yilun Chen, Yuantao Gu+1 more|arXiv (Cornell University)|Dec 22, 2010

Advanced Adaptive Filtering Techniques参考文献 20被引用 83

一句话总结

该论文提出了一类引入凸正则化的最小均方（LMS）算法，以提升在稀疏或组稀疏系统辨识中的性能。通过推导正则化参数的闭式表达式，该方法在均方偏差方面可证明优于传统LMS，且在稀疏性假设下展现出更快的收敛速度和更低的稳态误差。

ABSTRACT

We consider adaptive system identification problems with convex constraints and propose a family of regularized Least-Mean-Square (LMS) algorithms. We show that with a properly selected regularization parameter the regularized LMS provably dominates its conventional counterpart in terms of mean square deviations. We establish simple and closed-form expressions for choosing this regularization parameter. For identifying an unknown sparse system we propose sparse and group-sparse LMS algorithms, which are special examples of the regularized LMS family. Simulation results demonstrate the advantages of the proposed filters in both convergence rate and steady-state error under sparsity assumptions on the true coefficient vector.

研究动机与目标

• 开发一种通用的正则化LMS算法框架，整合凸约束与时变正则化。
• 建立一种系统性、闭式的正则化参数选择方法，以确保性能优于传统LMS。
• 通过ℓ1和ℓ1,2正则化，分别将该框架扩展至稀疏与组稀疏系统辨识。
• 在白噪声与相关输入信号下，证明收敛速度与稳态误差的性能优势。
• 展示在计算成本相当的情况下，对模型误设的鲁棒性以及优于基于投影的算法的性能。

提出的方法

• 引入一种带附加次梯度项的正则化LMS更新方程，该次梯度项源自凸正则化函数。
• 推导出确保正则化LMS在均方偏差方面优于传统LMS的正则化参数ρn*的闭式表达式。
• 应用ℓ1正则化以实现稀疏性，使ZA-LMS与RZA-LMS成为该方法的特例。
• 采用ℓ1,2正则化（组稀疏性）以在块结构系统中促进结构化稀疏性。
• 通过归纳法建立理论优势，证明在所推导参数条件下，正则化LMS的期望均方偏差被传统LMS的均方偏差所上界控制。
• 分析在白噪声与相关输入信号下的性能，证明其鲁棒性与一致优越性。

实验结果

研究问题

• RQ1 能否开发一类通用的正则化LMS算法家族，在凸约束下可证明优于传统LMS？
• RQ2 何种闭式表达式可确保正则化LMS在正则化参数选择下优于传统LMS？
• RQ3 如何有效将ℓ1与ℓ1,2正则化整合进LMS框架，以利用系统系数中的稀疏性？
• RQ4 所提方法在相关输入信号下是否仍保持性能优势，而不仅限于白噪声？
• RQ5 在收敛速度与稳态误差方面，正则化LMS与当代基于投影的自适应滤波方法相比如何？

主要发现

• 当正则化参数ρn选择在区间[0, 2ρn*]内时，正则化LMS算法在均方偏差方面可证明优于传统LMS，其中ρn*以闭式推导得出。
• 对于白输入信号，所推导的参数选择可保证正则化LMS的均方偏差低于传统LMS。
• 稀疏LMS滤波器ZA-LMS与RZA-LMS被证明是所提正则化LMS家族的特例。
• 采用ℓ1,2正则化的组稀疏LMS在白噪声与相关输入下，对传统LMS均表现出可证明的优势，且具备推导出的闭式参数选择规则。
• 数值仿真验证了在稀疏性假设下，所提滤波器具有更快的收敛速度与更低的稳态误差。
• 所提方法在等效计算成本下优于对应成本的基于投影的自适应滤波器，且对模型误设具有鲁棒性。