[论文解读] The representer theorem for Hilbert spaces: a necessary and sufficient condition

Francesco Dinuzzo, Bernhard Schölkopf|arXiv (Cornell University)|May 9, 2012

Optimization and Variational Analysis参考文献 35被引用 45

一句话总结

本文建立了希尔伯特空间中一类正则化泛函族可接受线性表示定理的充要条件：正则化项必须是范数的非递减函数。该证明通过将可微性假设放宽为下半连续性，推广了先前的结果，适用于有限维与无限维希尔伯特空间，统一刻画了何时解位于由数据相关向量张成的有限维子空间中。

ABSTRACT

A family of regularization functionals is said to admit a linear representer theorem if every member of the family admits minimizers that lie in a fixed finite dimensional subspace. A recent characterization states that a general class of regularization functionals with differentiable regularizer admits a linear representer theorem if and only if the regularization term is a non-decreasing function of the norm. In this report, we improve over such result by replacing the differentiability assumption with lower semi-continuity and deriving a proof that is independent of the dimensionality of the space.

研究动机与目标

• 确定希尔伯特空间中正则化泛函可接受线性表示定理的精确条件。
• 通过以下半连续性替代可微性假设，推广先前要求正则化项可微的结果。
• 为有限维与无限维希尔伯特空间提供统一的刻画。
• 确立正则化项必须为径向且在范数上非递减，才能使表示定理成立。

提出的方法

• 作者分析了一类广义正则化泛函 $ J(w) = f(L_1w, \dots, L_\ell w) + \Omega(w) $，其中 $ L_i $ 为有界线性泛函，$ \Omega $ 为下半连续正则化项。
• 他们证明线性表示定理成立当且仅当 $ \Omega(w) $ 是 $ \|w\| $ 的非递减函数，采用基于沿给定方向正交扰动最小化的构造性论证。
• 该证明依赖于对参数为 $ \gamma $ 的泛函族的分析，表明某些序列的有界性可推出对所需基于范数的结构的收敛。
• 通过构造反例验证条件的必要性，当条件不成立时，存在该族中某个泛函使得其最小值不在数据泛函 $ L_i $ 的张成空间中；同时在条件满足时证明表示定理成立。
• 该论证与维度无关，避免依赖有限维投影或基展开。
• 他们将结果应用于标准机器学习问题，如岭回归、支持向量机（SVMs）和核主成分分析（kernel PCA），表明当正则化项为 $ \|w\|^2 $ 或类似径向函数时，该条件成立。

实验结果

研究问题

• RQ1 在正则化项 $ \Omega $ 满足何种条件下，希尔伯特空间中正则化泛函的每个最小值都位于由数据泛函 $ L_i $ 张成的有限维子空间中？
• RQ2 先前表示定理刻画中对正则化项可微性的假设能否放宽至下半连续性而不损失刻画的准确性？
• RQ3 是否存在一个统一的条件，能同时适用于有限维与无限维希尔伯特空间？
• RQ4 对于一大类损失函数，何种精确结构的 $ \Omega $ 可确保线性表示性质成立？
• RQ5 对于非可微正则化项（如范数球的指示函数）表示定理是否仍成立？

主要发现

• 希尔伯特空间中正则化泛函族的线性表示定理成立当且仅当正则化项 $ \Omega $ 是范数 $ \|w\| $ 的非递减函数。
• 该结果通过将 $ \Omega $ 的可微性要求替换为下半连续性，推广了先前工作。
• 该刻画在有限维与无限维希尔伯特空间中均成立，且证明与维度无关。
• 该条件为必要且充分：若 $ \Omega $ 不是范数的非递减函数，则存在该族中某个泛函，其最小值不位于数据泛函 $ L_i $ 的张成空间中。
• 该结果适用于标准机器学习模型，如岭回归、SVMs 和核主成分分析（kernel PCA），当正则化项为 $ \|w\|^2 $ 或范数的单调函数时，该条件成立。
• 证明表明，只要 $ \Omega $ 为径向且在范数上非递减，则唯一可接受的最小值即位于数据泛函张成的空间中。