[论文解读] The optimal assignment kernel is not positive definite

Jean‐Philippe Vert|ArXiv.org|Jan 26, 2008

Machine Learning and Algorithms参考文献 5被引用 49

一句话总结

本文证明，用于通过子部分最优匹配比较标记图和结构化数据的最优分配核并非始终是正定的，这与先前的主张相矛盾。通过构造一个由高斯核子部分构成正方形的反例，作者表明所得的格拉姆矩阵可能具有负特征值，从而破坏希尔伯特空间嵌入，并挑战该核在核方法中理论基础的有效性。

ABSTRACT

We prove that the optimal assignment kernel, proposed recently as an attempt to embed labeled graphs and more generally tuples of basic data to a Hilbert space, is in fact not always positive definite.

研究动机与目标

• 调查最优分配核作为结构化数据正定核的理论有效性。
• 解决先前声称正定性与该核在特定情况下实际行为之间的矛盾。
• 提供一个严格的反例，证明在标准条件下该核可能不满足正定性。
• 提醒实践者注意在核方法中使用该核时，格拉姆矩阵可能出现负特征值的问题。

提出的方法

• 作者将最优分配核定义为两个元组子部分之间成对核值之和的最大值，通过匈牙利算法计算。
• 他们构造了一个反例，使用 R² 中的四个点，采用已知为正定且非负的高斯径向基函数核（k₁(x,y) = exp(−γ||x−y||²)）。
• 从这些点的所有不同点对中形成六个 2-元组，并使用最优分配公式计算它们之间的核值。
• 通过距离公式 d(x,y)² = k(x,x) + k(y,y) − 2k(x,y) 测试希尔伯特空间嵌入条件，揭示出几何上的不一致。
• 通过证明两个对角线对（AB,CD）之间的距离与正方形构型中预期的欧氏距离不一致，推导出矛盾，表明不可嵌入。
• 证明结论为：由于希尔伯特空间中所需的内积结构被违反，该核不可能是正定的。

实验结果

研究问题

• RQ1 最优分配核对于标记图和结构化数据是否始终正定？
• RQ2 能否构造一个反例，使得即使使用正定基核，该核仍不满足正定性？
• RQ3 最优分配核中希尔伯特空间嵌入失败的几何原因是什么？
• RQ4 为何先前工作（如 [2]）中正定性的证明存在逻辑错误？
• RQ5 格拉姆矩阵中负特征值在多大程度上会影响核方法的性能？

主要发现

• 最优分配核并非始终正定，这通过一个在 R² 中使用四个点和高斯基核的反例得到证明。
• 在该反例中，六个 2-元组之间的核值导致一个违反希尔伯特空间三角不等式的几何构型，意味着不可嵌入。
• 矛盾的根源在于对角线对（AB,CD）之间的计算距离与正方形构型中预期的距离不一致，其中 d(AB,CD)² = 4−4a 与预期的 4−4a² 不符。
• 先前文献 [2] 中关于正定性的主张是错误的，其逻辑存在缺陷：从 A≤B 和 A<0 推出 B<0 是无效的。
• 该核在实践中仍可能有用，但可能产生负特征值，需谨慎处理，例如通过将格拉姆矩阵投影到半正定锥上。
• 该结果强调了在科学文献中理论假设和错误传播的潜在风险，尤其是在核方法领域。