[论文解读] Wasserstein Coresets for Lipschitz Costs.

Sebastian Claici, Justin Solomon|arXiv (Cornell University)|May 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 5

一句话总结

本文通过利用最优传输理论，引入了测度核压缩（measure coresets）——一种针对连续概率测度的广义核压缩——以构建Lipschitz代价函数的Wasserstein核压缩。该方法在支持向量机、k-means、k-median和线性回归等机器学习任务中，实现了高效且可证明准确的近似，性能与现有核压缩方法相当或更优。

ABSTRACT

Sparsification is becoming more and more relevant with the proliferation of huge data sets. Coresets are a principled way to construct representative weighted subsets of a data set that have matching performance with the full data set for specific problems. However, coreset language neglects the nature of the underlying data distribution, which is often continuous. In this paper, we address this oversight by introducing a notion of measure coresets that generalizes coreset language to arbitrary probability measures. Our definition reveals a surprising connection to optimal transport theory which we leverage to design a coreset for problems with Lipschitz costs. We validate our construction on support vector machine (SVM) training, k-means clustering, k-median clustering, and linear regression and show that we are competitive with previous coreset constructions.

研究动机与目标

• 为解决传统核压缩的局限性，即其仅针对离散数据设计，忽略了底层数据分布的连续性特征。
• 形式化一种新的核压缩概念——测度核压缩，使其可推广至任意概率测度。
• 建立测度核压缩与最优传输理论之间的理论联系，以构建可证明准确的核压缩。
• 为Lipschitz代价函数开发一种实用的核压缩构造方法，在保持性能保证的同时减少数据规模。

提出的方法

• 将测度核压缩定义为加权概率测度，其在给定代价函数下近似原始数据测度。
• 利用最优传输理论，通过Wasserstein距离度量原始测度与核压缩测度之间的距离。
• 通过求解类似Wasserstein质心的问题来构建核压缩，以最小化至原始测度的传输成本。
• 通过控制Wasserstein距离，确保核压缩对任意Lipschitz代价函数满足(1+ε)-近似保证。
• 基于最优传输方案，采用采样与重加权策略，生成规模小且近似保证强的核压缩。
• 通过代价特定的优化，将核压缩构造应用于标准机器学习问题，包括SVM、k-means、k-median和线性回归。

实验结果

研究问题

• RQ1 核压缩能否以一种系统化的方式从离散数据推广到连续概率测度？
• RQ2 测度核压缩与最优传输理论之间存在何种理论联系？
• RQ3 基于Wasserstein的核压缩构造能否为Lipschitz代价函数提供可证明的近似保证？
• RQ4 在多种机器学习任务中，所提出的核压缩方法在实际表现上与现有核压缩方法相比如何？

主要发现

• 所提出的测度核压缩框架将传统离散核压缩推广至连续概率测度，实现了对连续数据分布的系统性稀疏化。
• 建立了测度核压缩与最优传输理论之间的理论联系，表明Wasserstein距离为核压缩质量提供了一个自然的度量。
• 该核压缩构造对任意Lipschitz代价函数均实现(1+ε)-近似保证，确保了强大的理论性能边界。
• 实验评估表明，该方法在SVM训练、k-means、k-median和线性回归任务中与现有核压缩构造相比具有竞争力。
• 即使在数据规模显著减小的情况下，该方法仍保持高精度，展示了其在大规模学习场景中的实际应用价值。