[论文解读] On Distance and Kernel Measures of Conditional Independence

Tianhong Sheng, Bharath K. Sriperumbudur|arXiv (Cornell University)|Dec 2, 2019

Bayesian Modeling and Causal Inference参考文献 28被引用 4

一句话总结

本文建立了基于距离的条件独立性度量与基于核的度量之间的理论联系，表明在特定条件下，广义条件距离协方差（gCdCov）与基于核的度量（HSCIC）等价。然而，如HSCIC等流行的基于核的条件独立性度量通常并不具有简单的距离表示，仅在极限情况下成立，揭示了其与联合独立性之间的一个关键区别，因为在联合独立性中等价性成立。

ABSTRACT

Measuring conditional independence is one of the important tasks in statistical inference and is fundamental in causal discovery, feature selection, dimensionality reduction, Bayesian network learning, and others. In this work, we explore the connection between conditional independence measures induced by distances on a metric space and reproducing kernels associated with a reproducing kernel Hilbert space (RKHS). For certain distance and kernel pairs, we show the distance-based conditional independence measures to be equivalent to that of kernel-based measures. On the other hand, we also show that some popular---in machine learning---kernel conditional independence measures based on the Hilbert-Schmidt norm of a certain cross-conditional covariance operator, do not have a simple distance representation, except in some limiting cases. This paper, therefore, shows the distance and kernel measures of conditional independence to be not quite equivalent unlike in the case of joint independence as shown by Sejdinovic et al. (2013).

研究动机与目标

• 研究基于距离的条件独立性度量与基于核的度量之间的理论关系。
• 将条件距离协方差（CdCov）推广至负类型度量空间，引入广义CdCov（gCdCov）。
• 建立gCdCov与基于核的条件独立性度量（HSCIC）之间的等价性。
• 检验流行的基于核的度量（如HSCIC）是否能通过距离度量表示。
• 比较两类度量的样本估计器在统计性质与计算复杂度上的表现。

提出的方法

• 将CdCov推广至负类型度量空间，定义广义条件距离协方差（gCdCov）。
• 通过希尔伯特-施密特范数定义基于核的条件交叉协方差算子，提出基于核的条件独立性度量（HSCIC）。
• 利用再生核希尔伯特空间（RKHS）嵌入，建立在特定核与距离对下gCdCov与HSCIC的等价性。
• 通过核矩阵与帽子矩阵，推导gCdCov与HSCIC的样本估计器。
• 利用希尔伯特空间中的测度集中性，建立样本HSCIC估计器的一致性。
• 证明HSCIC无需密度估计，而基于距离的估计器则需要，同时保持相似的计算复杂度。

实验结果

研究问题

• RQ1 在何种条件下，广义条件距离协方差（gCdCov）与基于核的条件独立性度量（HSCIC）等价？
• RQ2 流行的基于核的条件独立性度量（如HSCIC）在一般情况下能否表示为基于距离的度量，还是仅在极限情况下成立？
• RQ3 gCdCov与HSCIC的样本估计器在计算复杂度与统计一致性方面如何比较？
• RQ4 在距离度量与核度量的等价性方面，条件独立性与联合独立性之间是否存在根本性差异？
• RQ5 基于核的HSCIC能否被视为基于距离的CdCov的推广？

主要发现

• 在涉及负类型核与负类型度量的特定条件下，广义条件距离协方差（gCdCov）与基于核的HSCIC度量等价。
• HSCIC估计器是一致的，且无需密度估计，而样本gCdCov估计器则需要。
• 尽管基于不同假设，HSCIC与gCdCov的样本估计器具有相似的计算复杂度。
• 如HSCIC等流行的基于核的条件独立性度量通常不具有简单的距离表示，仅在极限情况下成立。
• 与Sejdinovic等人（2013）在联合独立性中所展示的结果不同，距离度量与核度量在条件独立性下的等价性并非普遍成立。
• HSCIC估计器可表示为核矩阵与帽子矩阵的函数，并具有涉及KZ、HY与HX的闭式迹表达式。