[论文解读] Neural Tangent Kernel Maximum Mean Discrepancy

Xiuyuan Cheng, Yao Xie|arXiv (Cornell University)|Dec 6, 2021

Model Reduction and Neural Networks被引用 3

一句话总结

本文提出了一种新颖的神经正切核最大均值差异（NTK-MMD）统计量，利用神经正切核与MMD之间的联系，实现了计算和内存高效的两样本检验。通过将MMD重新表述为基于NTK的形式，该方法在降低复杂度的同时实现了高检验功效，支持在线自适应和大规模数据集的可扩展部署。

ABSTRACT

We present a novel neural network Maximum Mean Discrepancy (MMD) statistic by identifying a connection between neural tangent kernel (NTK) and MMD statistic. This connection enables us to develop a computationally efficient and memory-efficient approach to compute the MMD statistic and perform neural network based two-sample tests towards addressing the long-standing challenge of memory and computational complexity of the MMD statistic, which is essential for online implementation to assimilate new samples. Theoretically, such a connection allows us to understand the properties of the new test statistic, such as Type-I error and testing power for performing the two-sample test, by leveraging analysis tools for kernel MMD. Numerical experiments on synthetic and real-world datasets validate the theory and demonstrate the effectiveness of the proposed NTK-MMD statistic.

研究动机与目标

• 为解决传统最大均值差异（MMD）统计量在两样本检验中长期存在的高计算和内存复杂度问题。
• 开发一种可扩展、支持在线处理的MMD检验方法，适用于实时数据融合。
• 建立神经正切核（NTK）与MMD之间的理论联系，以提升统计分析能力。
• 通过基于NTK的核近似方法，实现MMD的高效计算，降低资源需求。
• 通过实证评估验证新统计量在第一类错误控制和检验功效方面的表现。

提出的方法

• 该方法将MMD统计量的核函数替换为神经正切核（NTK），以替代标准的核选择方式。
• 利用NTK的结构特性，在无限宽度极限下通过闭式表达式实现MMD统计量的高效计算。
• 通过在特征空间中利用NTK的低秩近似特性，降低内存和计算复杂度。
• NTK-MMD统计量源自核MMD框架，具有第一类错误和检验功效的理论保证。
• 通过支持增量更新机制，实现在线学习，适应新样本的持续到达。
• 采用成熟的核MMD分析工具进行理论分析，实现对统计性质的严格评估。

实验结果

研究问题

• RQ1 是否可以利用神经正切核（NTK）重新表述MMD统计量，以降低计算和内存开销？
• RQ2 NTK-MMD统计量在两样本检验中是否能保持有效的第一类错误控制和高检验功效？
• RQ3 NTK-MMD是否能在在线设置中高效更新，以适应流式数据？
• RQ4 与标准MMD相比，NTK-MMD在统计功效和可扩展性方面表现如何？
• RQ5 NTK与MMD之间的理论基础是什么？该基础如何支持更优的统计推断？

主要发现

• 与标准MMD相比，NTK-MMD统计量在计算和内存复杂度方面实现了显著降低，支持可扩展部署。
• 数值实验表明，该方法在原假设下保持了有效的第一类错误控制。
• NTK-MMD在合成数据集和真实世界数据集上均表现出高统计检验功效，且在可扩展性方面优于基线MMD方法。
• 该方法支持在线实现，可对新数据样本进行增量更新。
• 理论分析表明，NTK-MMD继承了核MMD的统计性质，包括一致性与检验功效。
• 实证结果验证了理论假设，表明其在多样化数据分布下均表现出色。