[论文解读] No-Trick (Treat) Kernel Adaptive Filtering using Deterministic Features

Kan Li, José C. Prı́ncipe|arXiv (Cornell University)|Dec 10, 2019

Advanced Adaptive Filtering Techniques参考文献 27被引用 5

一句话总结

本文提出了一种基于高斯求积的确定性特征映射的无技巧（NT）核自适应滤波框架，通过构建显式的、多项式精确的非线性特征，诱导出一个等价的有限维再生核希尔伯特空间（RKHS）。该方法在准确性和速度上均优于随机傅里叶特征（RFFs），在计算成本和方差方面显著降低，尤其在噪声条件下表现出更优的泛化能力和鲁棒性。

ABSTRACT

Kernel methods form a powerful, versatile, and theoretically-grounded unifying framework to solve nonlinear problems in signal processing and machine learning. The standard approach relies on the kernel trick to perform pairwise evaluations of a kernel function, which leads to scalability issues for large datasets due to its linear and superlinear growth with respect to the training data. A popular approach to tackle this problem, known as random Fourier features (RFFs), samples from a distribution to obtain the data-independent basis of a higher finite-dimensional feature space, where its dot product approximates the kernel function. Recently, deterministic, rather than random construction has been shown to outperform RFFs, by approximating the kernel in the frequency domain using Gaussian quadrature. In this paper, we view the dot product of these explicit mappings not as an approximation, but as an equivalent positive-definite kernel that induces a new finite-dimensional reproducing kernel Hilbert space (RKHS). This opens the door to no-trick (NT) online kernel adaptive filtering (KAF) that is scalable and robust. Random features are prone to large variances in performance, especially for smaller dimensions. Here, we focus on deterministic feature-map construction based on polynomial-exact solutions and show their superiority over random constructions. Without loss of generality, we apply this approach to classical adaptive filtering algorithms and validate the methodology to show that deterministic features are faster to generate and outperform state-of-the-art kernel methods based on random Fourier features.

研究动机与目标

• 为解决大规模数据集下核自适应滤波（KAF）中随机傅里叶特征（RFFs）的可扩展性和高方差问题。
• 开发一种确定性、与数据无关的特征映射构造方法，确保在频域中对核函数实现多项式精确逼近。
• 证明显式特征映射可在有限维RKHS中定义一个等价的正定核，从而实现无需核技巧的可扩展在线KAF。
• 验证确定性特征在收敛速度、抗噪声能力及计算效率方面相对于RFFs的优越性。
• 将无技巧框架扩展至标准KAF算法（如KLMS和KRLS），实现资源使用更少的同时达到最先进性能。

提出的方法

• 利用高斯求积构造确定性特征映射，可精确计算至指定次数的多项式积分，确保在频域中实现高精度核逼近。
• 将显式特征映射的点积视为等价的正定核，从而在有限维RKHS中诱导出具有通用逼近能力的再生核希尔伯特空间。
• 将确定性特征映射应用于标准核自适应滤波算法（如KLMS、KRLS），以显式特征计算替代核技巧。
• 采用多项式精确解以最小化近似误差，并消除RFFs固有的随机方差。
• 在所有实验中使用固定的RKHS维数（D=330），以确保与基于RFF的及传统KAF方法的公平比较。
• 通过学习曲线、测试集均方误差（MSE）及CPU时间测量，在多种噪声水平和混沌时间序列下验证性能。

实验结果

研究问题

• RQ1 基于高斯求积的确定性特征映射是否在收敛速度和准确性方面优于核自适应滤波中的随机傅里叶特征？
• RQ2 无技巧方法——将显式特征映射视为有限维RKHS中的等价核——是否能实现无需核技巧的可扩展且鲁棒的在线KAF？
• RQ3 在噪声条件下及不同信噪比下，确定性特征的性能与RFFs及传统KAF方法相比如何？
• RQ4 基于剪枝的方法（如固定预算QKLMS）在舍弃中心后，其泛化性能退化程度如何，相较于所提出的无技巧框架？
• RQ5 所提出的确定性特征构造方法是否可有效扩展至基于递归最小二乘（RLS）的KAF算法，以实现性能提升？

主要发现

• 在无噪声条件下，所提出的基于高斯求积的无技巧核自适应滤波（NT-KLMS-GQ）在测试集上达到最低的均方误差（MSE）0.0019 ± 0.0003，优于KLMS和QKLMS。
• 在14 dB信噪比（SNR）条件下，NT-KLMS-GQ的测试MSE为0.0142 ± 0.0028，性能与QKLMS和KLMS相当，但资源消耗显著减少。
• 在8 dB SNR条件下，NT-KLMS-GQ的测试MSE为0.0351 ± 0.0080，优于基于RFF的变体，并接近KLMS和QKLMS的性能。
• 确定性特征映射的生成速度优于RFFs，且在多次试验中表现出显著更低的性能方差。
• 在使用KRLS进行混沌时间序列预测时，基于高斯求积特征的无技巧KRLS在收敛速度和准确性方面优于所有其他无技巧KAF变体和基线方法。
• 基于剪枝的方法（如固定预算QKLMS）在舍弃中心后出现性能下降，凸显了所提出确定性方法的鲁棒性优势。