[论文解读] On the Size of the Online Kernel Sparsification Dictionary

Yi Sun, Faustino Gomez+1 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Adaptive Filtering Techniques参考文献 26被引用 9

一句话总结

本文通过一种新颖的公式，将核Gram矩阵的期望行列式与协方差算子的特征值联系起来，分析了在线核稀疏化中词典大小的问题。在技术条件下，证明了词典大小随数据点数的增加呈次线性增长，从而确保了所得核线性回归器的一致性。

ABSTRACT

We analyze the size of the dictionary constructed from online kernel sparsification, using a novel formula that expresses the expected determinant of the kernel Gram matrix in terms of the eigenvalues of the covariance operator. Using this formula, we are able to connect the cardinality of the dictionary with the eigen-decay of the covariance operator. In particular, we show that under certain technical conditions, the size of the dictionary will always grow sub-linearly in the number of data points, and, as a consequence, the kernel linear regressor constructed from the resulting dictionary is consistent.

研究动机与目标

• 理解在线核稀疏化中词典大小的理论行为。
• 建立词典基数与协方差算子特征值衰减特性之间的联系。
• 在特定条件下证明词典大小呈次线性增长。
• 展示由所得词典构建的核线性回归器的一致性。
• 为具有可控内存使用量的在线核方法提供理论基础。

提出的方法

• 推导出一种新颖的解析公式，将核Gram矩阵的期望行列式表示为协方差算子特征值的函数。
• 利用该公式分析在线核稀疏化中词典的期望增长速率。
• 应用谱理论，将协方差算子的特征值衰减与词典大小动态联系起来。
• 采用概率与渐近分析，在技术假设下建立次线性增长。
• 将理论增长边界与所得核线性回归器的一致性联系起来。
• 利用随机矩阵理论与核方法中的工具推导主要结果。

实验结果

研究问题

• RQ1 在线核稀疏化词典的大小如何随数据点数变化？
• RQ2 协方差算子的特征值衰减与词典大小之间存在何种关系？
• RQ3 在何种条件下词典大小呈次线性增长？
• RQ4 能否从词典构造中理论上保证核线性回归器的一致性？
• RQ5 核Gram矩阵的期望行列式与词典基数之间有何关系？

主要发现

• 在指定技术条件下，在线核稀疏化词典的大小随数据点数的增加呈次线性增长。
• 次线性增长与协方差算子的特征值衰减速率直接相关。
• 由词典构建的核线性回归器具有一致性，即随着数据量增加，其收敛至最优解。
• 理论分析基于一种新颖公式，将Gram矩阵的期望行列式与协方差算子的特征值联系起来。
• 结果为具有理论保证的内存高效在线核学习提供了严格基础。
• 研究结果验证了在线核稀疏化在保持性能的同时控制词典大小的实际效率。