[论文解读] Spectral Analysis of Symmetric and Anti-Symmetric Pairwise Kernels

Tapio Pahikkala, Markus Viljanen+2 more|arXiv (Cornell University)|Jun 19, 2015

Face and Expression Recognition参考文献 15被引用 3

一句话总结

本文对对称与反对称成对核进行了谱分析，表明对称化与反对称化可降低核的有效维度，并以原始核的形式界定了变换后核的正则化偏差。其主要贡献在于提供了理论保证：强制实现对称性或反对称性不会损害近似能力，同时可能提升学习效率。

ABSTRACT

We consider the problem of learning regression functions from pairwise data when there exists prior knowledge that the relation to be learned is symmetric or anti-symmetric. Such prior knowledge is commonly enforced by symmetrizing or anti-symmetrizing pairwise kernel functions. Through spectral analysis, we show that these transformations reduce the kernel's effective dimension. Further, we provide an analysis of the approximation properties of the resulting kernels, and bound the regularization bias of the kernels in terms of the corresponding bias of the original kernel.

研究动机与目标

• 分析由原始核导出的对称与反对称成对核的谱性质。
• 研究对称化与反对称化如何影响成对核的有效维度。
• 以原始核的偏差为基准，界定向量化核的正则化偏差。
• 建立对称与反对称核近似性质的理论保证。

提出的方法

• 本文采用与成对核相关的积分算子的谱分析，重点关注特征值与特征函数。
• 通过投影算子 S 与 A 作用于原始核 K，定义对称化与反对称化核。
• 利用算子 (T_K + λI)^{-1} 的迹分析核的有效维度，该量量化了核的容量。
• 使用矩阵不等式（如 Choi 不等式、Kadison 不等式及 Kantorovich 型不等式）以原始核的谱性质为基准，界定向量化核的正则化偏差。
• 分析假设输入空间紧致、核连续，且在 𝒳 上定义概率测度 μ，所有函数属于 L²(𝒳, μ)。
• 利用 Löwner-Heinz 定理及有界算子上正则单位线性映射的性质，推导理论界。

实验结果

研究问题

• RQ1 对称化或反对称化成对核如何影响其有效维度？
• RQ2 原始核的正则化偏差与其对称或反对称对应核的正则化偏差之间有何关系？
• RQ3 对称与反对称核是否仍能任意好地逼近任意连续对称或反对称函数？
• RQ4 变换后核的谱性质与原始核的谱性质相比如何？

主要发现

• 对称化与反对称化成对核的有效维度严格小于原始核的有效维度。
• 对称与反对称核的近似性质得以保留，且可任意好地逼近任意连续对称或反对称函数。
• 对称与反对称核的正则化偏差受因子 (α + β)² / (4αβ) 界定，其中 α 与 β 分别为 (T_K + λI) 的最小与最大特征值。
• 对于最大值为 1 的核，正则化偏差因子的界至多为 (1 + λ + λ)² / (4λ(1 + λ)) = (1 + 2λ)² / (4λ(1 + λ))，当 λ → 0 时趋近于 1。
• 对称函数的正则化解 f^λ_K^S 的偏差与 f^λ_K^PI 的偏差完全相同，表明当真实函数为对称时，对称化不会引入额外偏差。
• 分析证实，强制实现对称性或反对称性不会降低核的表达能力，但可能通过降低有效维度而提升学习效率。