[论文解读] Operator-valued Kernels for Learning from Functional Response Data

Hachem Kadri, Emmanuel Duflos+4 more|arXiv (Cornell University)|Oct 28, 2015

Control Systems and Identification参考文献 105被引用 64

一句话总结

本文引入了算子值核以实现从函数响应数据中学习，将再生核希尔伯特空间（RKHS）理论扩展至处理函数值输出。该文建立了算子值RKHS的表示定理，提出了一种非线性函数数据分析的学习算法，并在语音与音频处理任务中展示了其有效性，同时提供了理论泛化界。

ABSTRACT

In this paper we consider the problems of supervised classification and regression in the case where attributes and labels are functions: a data is represented by a set of functions, and the label is also a function. We focus on the use of reproducing kernel Hilbert space theory to learn from such functional data. Basic concepts and properties of kernel-based learning are extended to include the estimation of function-valued functions. In this setting, the representer theorem is restated, a set of rigorously defined infinite-dimensional operator-valued kernels that can be valuably applied when the data are functions is described, and a learning algorithm for nonlinear functional data analysis is introduced. The methodology is illustrated through speech and audio signal processing experiments.

研究动机与目标

• 将基于核的学习方法推广至输入和输出均为函数的场景，实现非线性函数数据分析。
• 基于算子值再生核希尔伯特空间，构建函数值学习的严谨理论框架。
• 将向量值核方法推广至无限维输出空间，尤其适用于函数响应场景。
• 提出一种学习算法，通过结构化的算子值核利用函数输出之间的相关性。
• 在Lipschitz连续性和正则性假设下，建立所提方法的泛化界。

提出的方法

• 为算子值RKHS中的函数值学习提出表示定理，确保解为核算子作用于训练数据的线性组合。
• 定义了一类将输入函数映射到希尔伯特空间中输出函数的无限维算子值核。
• 利用表示定理推导出一种学习算法，通过核诱导范数最小化正则化经验风险。
• 通过在具有再生性质的算子希尔伯特空间中建立优化问题，将框架应用于非线性函数回归。
• 利用Lipschitz连续性和算子范数界，推导出所学函数值预测器的泛化误差估计。
• 通过语音与音频信号处理中的实验验证该方法，展示了其在真实函数数据上的性能。

实验结果

研究问题

• RQ1 如何将基于核的学习方法推广至处理输入和输出均为函数而非标量或向量的场景？
• RQ2 使用再生核希尔伯特空间学习函数值映射时，适当的理论框架是什么？
• RQ3 能否在函数响应数据背景下为算子值核建立表示定理？
• RQ4 在Lipschitz连续性和正则性条件下，所提学习算法的泛化特性如何？
• RQ5 算子值核在函数数据分析任务中与标准向量值核或标量值核相比表现如何？

主要发现

• 本文建立了算子值RKHS的表示定理，表明最优函数值预测器位于核算子作用于训练输入的张成空间中。
• 推导出泛化误差界，表明所学函数与真实函数之间的差异被界于 $ \frac{\sigma^2 \kappa^2}{2n\lambda} $ 之内，其中 $ \sigma $ 为Lipschitz常数，$ \kappa $ 为算子范数，$ n $ 为样本量，$ \lambda $ 为正则化参数。
• 该框架通过将输出空间建模为函数的希尔伯特空间，支持从函数响应中学习，从而实现对输出函数之间相关性的建模。
• 理论分析表明，在核算子具有有限迹的假设下，最小二乘损失函数满足所需的光滑性和有界性条件。
• 该方法在语音与音频信号处理任务中通过实证验证，证明其在真实函数数据应用中的可行性。
• 算子值核框架通过允许无限维输出空间，将向量值核方法推广，从而实现具有函数输出的非线性多任务学习。