[论文解读] Representation by Integrating Reproducing Kernels

Thomas Hotz, Fabian J. E. Telschow|arXiv (Cornell University)|Feb 20, 2012

Neural Networks and Applications参考文献 16被引用 3

一句话总结

本文提出了一种通用框架，通过直接积分在参数空间上整合再生核，证明逐点积分可生成一个新的再生核希尔伯特空间，即直接积分在求和算子下的像。关键贡献在于，将多种核构造——如Mercer核、径向基函数的尺度混合体以及积分变换——统一于单一理论体系之下，从而在反问题和采样理论中实现新应用。

ABSTRACT

Based on direct integrals, a framework allowing to integrate a parametrised family of reproducing kernels with respect to some measure on the parameter space is developed. By pointwise integration, one obtains again a reproducing kernel whose corresponding Hilbert space is given as the image of the direct integral of the individual Hilbert spaces under the summation operator. This generalises the well-known results for finite sums of reproducing kernels; however, many more special cases are subsumed under this approach: so-called Mercer kernels obtained through series expansions; kernels generated by integral transforms; mixtures of positive definite functions; and in particular scale-mixtures of radial basis functions. This opens new vistas into known results, e.g. generalising the Kramer sampling theorem; it also offers interesting connections between measurements and integral transforms, e.g. allowing to apply the representer theorem in certain inverse problems, or bounding the pointwise error in the image domain when observing the pre-image under an integral transform.

研究动机与目标

• 开发一种在测度空间上对参数化再生核族进行积分的通用数学框架。
• 表征由该积分过程生成的再生核希尔伯特空间为单个希尔伯特空间的直接积分在求和算子下的像。
• 统一并推广已知的正定函数构造方法，包括Mercer核、径向基函数的尺度混合体以及积分变换。
• 通过将核方法与积分变换及表示定理相联系，使反问题和采样理论中的新应用成为可能。
• 在观测积分变换的原像时，提供图像域中逐点误差的界。

提出的方法

• 使用测度空间 $(\Omega, \mathcal{A}, \mu)$ 上的希尔伯特空间的直接积分，推广再生核希尔伯特空间的直和。
• 通过逐点积分定义集成核：$K(x,y) = \int_\Omega K_\omega(x,y) \, d\mu(\omega)$，在确保结果为有效再生核的条件下。
• 表征所得希尔伯特空间为直接积分 $\int_\Omega^\oplus \mathcal{H}_\omega \, d\mu$ 在求和算子 $S$ 下的像。
• 将该框架应用于特例：积分变换、Mercer展开、正定函数的混合体以及径向基函数。
• 在 $\mathrm{L}_2(\Omega, \mu)$ 中使用表示定理，通过最小化正则化损失泛函求解反问题。
• 推导原像空间中插值的误差界，将图像域中的逐点误差与幂函数及核范数相关联。

实验结果

研究问题

• RQ1 如何对定义在测度空间上的再生核族进行积分，以生成新的再生核？
• RQ2 此类积分过程所生成的再生核希尔伯特空间具有何种结构？
• RQ3 经典构造方法——如Mercer核、径向基函数的尺度混合体以及积分变换——如何融入此通用框架？
• RQ4 当前向映射为积分变换时，表示定理是否可应用于 $\mathrm{L}_2(\Omega, \mu)$ 中求解反问题？
• RQ5 在通过原像空间中的插值近似函数时，能否对图像域中的逐点误差施加界？

主要发现

• 若族 $\{K_\omega\}$ 满足可测性与可积性条件，则集成核 $K(x,y) = \int_\Omega K_\omega(x,y) \, d\mu(\omega)$ 是有效的再生核。
• 所得再生核希尔伯特空间与直接积分 $\int_\Omega^\oplus \mathcal{H}_\omega \, d\mu$ 在求和算子 $S$ 下的像之间存在等距同构。
• 该框架推广了核的有限和，并涵盖了通过积分变换、级数展开及混合体构造正定函数的所有已知方法。
• 通过将采样方程视为在参数空间上对核进行积分，推广了Kramer采样定理。
• 对于反问题，表示定理适用于 $\mathrm{L}_2(\Omega, \mu)$，使得可通过有限维优化求解正则化最小化问题。
• 推导出逐点误差界：$|S(a)(x) - S(a_W)(x)| \leq \|a\|_{\mathcal{G}} \|P_W\|_{\mathrm{L}_2(\Omega,\mu)} \|k(x,\cdot)\|_{\mathrm{L}_2(\Omega,\mu)}$，其中 $P_W$ 为插值的幂函数。