[论文解读] Wasserstein Measure Coresets

Sebastian Claici, Aude Genevay+1 more|arXiv (Cornell University)|May 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 55被引用 4

一句话总结

本文提出了Wasserstein度量压缩包（Wasserstein measure coresets）这一新框架，通过利用最优传输理论显式考虑底层数据分布，将经典离散压缩包推广至更广范围。通过使用随机梯度下降最小化Wasserstein距离，该方法实现了在线、内存高效的压缩包构建，并在聚类、分类和贝叶斯推断等任务中展现出强大的泛化保证。

ABSTRACT

The proliferation of large data sets and Bayesian inference techniques motivates demand for better data sparsification. Coresets provide a principled way of summarizing a large dataset via a smaller one that is guaranteed to match the performance of the full data set on specific problems. Classical coresets, however, neglect the underlying data distribution, which is often continuous. We address this oversight by introducing Wasserstein measure coresets, an extension of coresets which by definition takes into account generalization. Our formulation of the problem, which essentially consists in minimizing the Wasserstein distance, is solvable via stochastic gradient descent. This yields an algorithm which simply requires sample access to the data distribution and is able to handle large data streams in an online manner. We validate our construction for inference and clustering.

研究动机与目标

• 解决经典压缩包的局限性，即忽略底层数据分布，仅关注经验数据集。
• 形式化一种新的压缩包概念——度量压缩包，其目标是近似连续数据分布而非离散样本。
• 提出Wasserstein度量压缩包，作为利用最优传输理论最小化泛化误差的合理方法。
• 开发一种在线、随机优化算法，以实现最小内存和计算开销的压缩包构建。
• 展示单一压缩包在多种学习任务中的通用性，如聚类、SVM分类和贝叶斯推断。

提出的方法

• 将度量压缩包定义为有限支撑测度，其目标是最小化与真实数据分布之间的Wasserstein距离。
• 将压缩包构建问题形式化为以Wasserstein距离为目标函数的随机优化问题。
• 应用随机梯度下降（SGD）通过数据小批量迭代更新压缩包点和权重，实现在线学习。
• 利用最优传输与压缩包之间的理论联系，推导出泛化误差界及Lipschitz变换下的稳定性。
• 采用熵正则化最优传输以提升计算效率并增强对噪声的鲁棒性。
• 通过在标记子集上构建压缩包（如用于SVM）或将压缩包用于近似贝叶斯推断中的后验分布，将方法适配至不同学习任务。

实验结果

研究问题

• RQ1 压缩包能否超越离散数据集，扩展至考虑底层连续数据分布？
• RQ2 最优传输理论如何用于定义一种确保泛化的合理压缩包构建方法？
• RQ3 随机梯度下降能否有效用于以最小内存实现在线、流式压缩包构建？
• RQ4 在多种学习任务中，Wasserstein度量压缩包相较于经典压缩包和重要性采样方法的性能如何？
• RQ5 在不同Wasserstein度量下，Wasserstein度量压缩包的理论保证（如泛化误差界）可如何推导？

主要发现

• 在贝叶斯推断中，Wasserstein度量压缩包显著优于均匀采样，能更有效地减少与全数据后验分布之间的KL散度。
• 在$k$-均值聚类中，$W_2$压缩包的性能与大小为10的最优压缩包相当，表明其与平衡$k$-均值优化具有等价性。
• 所提出的随机算法实现了无需存储完整数据集的在线压缩包构建，适用于大规模和流式数据。
• 在SVM分类中，通过Wasserstein框架构建的压缩包在较大压缩包规模下泛化性能优于在全数据集上训练的结果，可能归因于异常值去除和均衡采样。
• 该方法对分布偏移具有鲁棒性，并在Lipschitz连续损失函数下保持性能，验证了其理论稳定性保证。
• 尽管在贝叶斯推断中未达到最先进水平，但该方法仍显著优于均匀采样，表明其具有强大的实际应用价值。