[论文解读] Online dictionary learning for kernel LMS. Analysis and forward-backward splitting algorithm

Wei Gao, Jie Chen+2 more|arXiv (Cornell University)|Jun 22, 2013

Advanced Adaptive Filtering Techniques参考文献 22被引用 4

一句话总结

该论文提出了一种用于核最小均方（KLMS）滤波的在线字典学习算法，采用带ℓ₁-范数正则化的前向-后向分裂法，实现动态、自适应的字典更新。通过根据输入信号统计特性持续添加相关原子并剔除过时原子，该方法保持了稀疏性与稳定性，在非平稳环境中实现了更优的收敛性能和更低的计算负载。

ABSTRACT

Adaptive filtering algorithms operating in reproducing kernel Hilbert spaces have demonstrated superiority over their linear counterpart for nonlinear system identification. Unfortunately, an undesirable characteristic of these methods is that the order of the filters grows linearly with the number of input data. This dramatically increases the computational burden and memory requirement. A variety of strategies based on dictionary learning have been proposed to overcome this severe drawback. Few, if any, of these works analyze the problem of updating the dictionary in a time-varying environment. In this paper, we present an analytical study of the convergence behavior of the Gaussian least-mean-square algorithm in the case where the statistics of the dictionary elements only partially match the statistics of the input data. This allows us to emphasize the need for updating the dictionary in an online way, by discarding the obsolete elements and adding appropriate ones. We introduce a kernel least-mean-square algorithm with L1-norm regularization to automatically perform this task. The stability in the mean of this method is analyzed, and its performance is tested with experiments.

研究动机与目标

• 解决核自适应滤波中因滤波器阶数随数据线性增长而带来的计算与内存负担日益加剧的问题。
• 分析当字典元素仅部分匹配输入统计特性时KLMS的收敛行为，揭示在线字典自适应的必要性。
• 开发一种稳定、在线的字典学习框架，根据输入信号特性动态增删原子。
• 提出一种带ℓ₁-正则化的前向-后向分裂算法，以自动控制字典大小与稀疏性。
• 通过理论分析与仿真验证，确保所提算法在时变输入条件下具有均值稳定性。

提出的方法

• 在再生核希尔伯特空间（RKHS）中建立具有M个原子的固定大小字典的核LMS问题。
• 对核展开系数施加ℓ₁-范数正则化，以促进稀疏性并降低滤波器阶数。
• 采用前向-后向分裂（FOBOS）方法，高效求解由ℓ₁-正则化引起的非光滑优化问题。
• 引入基于相干性的准则，根据输入信号方差动态选择新字典元素并剔除过时元素。
• 推导出一步长条件（公式58），通过分析期望权向量的收敛性，确保算法的均值稳定性。
• 实现一种在线两步过程：(1) 通过相干性阈值进行字典更新；(2) 使用带ℓ₁-正则化的FOBOS进行参数更新。

实验结果

研究问题

• RQ1 当字典元素与输入数据之间的统计特性部分不匹配时，如何影响核LMS的收敛性？
• RQ2 在时变字典条件下，何种条件可确保在线核LMS的均值稳定性？
• RQ3 前向-后向分裂结合ℓ₁-正则化是否能有效控制字典大小，并在非平稳环境中保持性能？
• RQ4 与静态或固定大小字典方法相比，动态字典更新机制在稀疏性与跟踪能力方面表现如何？
• RQ5 输入信号方差变化对在线核滤波中字典大小与学习性能有何影响？

主要发现

• 所提出的FOBOS-KLMS算法通过根据输入信号特性动态添加新原子并剔除过时原子，成功维持了稀疏字典。
• 仿真结果表明，该算法在不降低性能的前提下显著降低了滤波器阶数，尤其在输入方差突变时表现更优。
• 当输入方差增大时，标准KLMS结合相干性准则导致字典大小迅速增长，而FOBOS-KLMS则保持更小且自适应的字典规模。
• 在输入方差减小的场景下，标准KLMS仍会不必要地持续添加原子，而FOBOS-KLMS则会停止更新并保持稀疏性。
• 理论分析表明，若步长满足条件（58），则算法在均值上收敛，该条件确保了更新矩阵的谱范数小于1。
• FOBOS-KLMS算法在输入方差增加与减少的两种场景下均表现出稳定性能，证明了其对非平稳输入的鲁棒性。