[论文解读] The Exact Equivalence of Distance and Kernel Methods for Hypothesis Testing

Cencheng Shen, Joshua T Vogelstein|arXiv (Cornell University)|Jun 14, 2018

Gaussian Processes and Bayesian Inference参考文献 44被引用 18

一句话总结

本文建立了一种度量与核函数之间的双射变换，确保在假设检验中距离相关性与希尔伯特-施密特独立性核（HSIC）完全等价。该方法保持了相似性结构，消除了对任意固定点的依赖，并实现了基于距离与基于核的推理方法的无缝整合，使两者在统计功效和p值上保持一致，适用于有偏与无偏估计器。

ABSTRACT

Distance-based tests, also called "energy statistics", are leading methods for two-sample and independence tests from the statistics community. Kernel-based tests, developed from "kernel mean embeddings", are leading methods for two-sample and independence tests from the machine learning community. A fixed-point transformation was previously proposed to connect the distance methods and kernel methods for the population statistics. In this paper, we propose a new bijective transformation between metrics and kernels. It simplifies the fixed-point transformation, inherits similar theoretical properties, allows distance methods to be exactly the same as kernel methods for sample statistics and p-value, and better preserves the data structure upon transformation. Our results further advance the understanding in distance and kernel-based tests, streamline the code base for implementing these tests, and enable a rich literature of distance-based and kernel-based methodologies to directly communicate with each other.

研究动机与目标

• 解决基于距离与基于核的独立性检验方法之间长期存在的差距。
• 建立一种数学上严谨、无需固定点的度量与核之间的双射关系，确保样本统计量与p值的等价性。
• 在统一框架下整合距离相关性与HSIC，促进两类方法之间的交叉融合。
• 通过简化代码库并保持变换过程中的相似性结构，提升实际实现效率。
• 在谱聚类与多尺度图相关性应用中展示该方法的实用性。

提出的方法

• 提出一种新的度量与核之间的双射变换，该变换是固定点变换的特例，但避免了任意初始化。
• 将该变换应用于将欧几里得距离矩阵转换为等价的核矩阵，同时保持原始数据的相似性结构。
• 利用变换后的核计算HSIC，确保其在有偏与无偏形式下与距离相关性完全等价。
• 采用中心化矩阵与基于迹的公式，计算无偏距离协方差及其核形式的对应量。
• 应用该双射关系，基于诱导度量上的近邻结构，实现基于核的多尺度图相关性。
• 通过基于置换的假设检验与合成数据上的谱聚类验证等价性。

实验结果

研究问题

• RQ1 能否构造一种度量与核之间的双射变换，使得在有限样本中距离相关性与HSIC完全等价？
• RQ2 所提出的变换是否保持了原始数据的相似性结构，尤其是在非线性设置下？
• RQ3 该等价性是否在距离协方差与HSIC的有偏与无偏估计器中均能保持？
• RQ4 该变换是否能在下游任务（如谱聚类与多尺度图相关性）中提升性能？
• RQ5 该变换是否具有平移不变性与秩保持性，从而确保在实际应用中的鲁棒性？

主要发现

• 所提出的双射关系确保了距离相关性与HSIC在有偏与无偏估计器下产生完全相同的检验统计量与p值。
• 双射变换保持了数据的相似性结构，这一点在谱聚类中使用的核矩阵所呈现的清晰块状结构中得到验证。
• 使用双射核的谱聚类在二维高斯混合数据上实现了完美聚类，而固定点核则产生失真的矩阵并导致错误的分组。
• 借助双射关系实现的核多尺度图相关性，在保持第一类错误控制的同时，提升了对非线性依赖关系的检验功效。
• 该方法在保持近邻结构方面优于固定点变换，这对局部依赖关系检测至关重要。
• 实证结果表明，与标准HSIC相比，该方法在检测强非线性关系方面具有相当或更优的检验功效。