[论文解读] Tradeoffs for Space, Time, Data and Risk in Unsupervised Learning

Mario Lučić, Mesrob I. Ohannessian+2 more|arXiv (Cornell University)|May 2, 2016

Machine Learning and Algorithms参考文献 26被引用 16

一句话总结

本文提出了一种基于核心集（coreset）的框架，用于在无监督学习中权衡空间、时间、数据规模和统计风险。通过战略性地使用核心集对数据进行摘要，作者实现了更快的k-means和高斯混合模型（GMM）训练，并提供可证明的风险保证，表明当结合其TRAM算法进行智能摘要时，更大的数据集反而能减少运行时间。

ABSTRACT

Faced with massive data, is it possible to trade off (statistical) risk, and (computational) space and time? This challenge lies at the heart of large-scale machine learning. Using k-means clustering as a prototypical unsupervised learning problem, we show how we can strategically summarize the data (control space) in order to trade off risk and time when data is generated by a probabilistic model. Our summarization is based on coreset constructions from computational geometry. We also develop an algorithm, TRAM, to navigate the space/time/data/risk tradeoff in practice. In particular, we show that for a fixed risk (or data size), as the data size increases (resp. risk increases) the running time of TRAM decreases. Our extensive experiments on real data sets demonstrate the existence and practical utility of such tradeoffs, not only for k-means but also for Gaussian Mixture Models.

研究动机与目标

• 研究数据摘要如何在无监督学习中实现计算资源（时间、空间）与统计风险之间的权衡。
• 解决大规模学习中的挑战：通常随着数据规模增加，计算成本上升而非风险降低。
• 开发一种实用算法，在不依赖预言机（oracle）的前提下，有效导航空间/时间/数据/风险的权衡。
• 通过弱化数据表示而非学习算法，将计算-统计权衡扩展至非凸问题。
• 通过实证验证此类权衡在k-means与高斯混合模型中的存在性与实用性。

提出的方法

• 利用计算几何中的核心集构造方法，将大规模数据集摘要为小型、具有代表性的子集，以保持k-means聚类的解质量。
• 在核心集上应用加权k-means++和加权EM算法，以高效求解摘要数据上的学习问题。
• 提出TRAM算法，自适应调整摘要大小与截断大小，以平衡风险与运行时间。
• 在TRAM中采用类似二分查找的策略：每轮迭代将截断大小加倍，同时将摘要大小按1.5倍因子减小，以探索权衡曲线。
• 使用验证集（数据的1/5）来估计风险，并指导寻找最优权衡点的搜索过程。
• 利用理论核心集边界，确保在核心集上求解的解在预定风险容差范围内逼近完整数据的解。

实验结果

研究问题

• RQ1 通过核心集进行数据摘要，是否能在无监督学习中实现运行时间与风险之间的权衡，即使在数据规模增加时也成立？
• RQ2 在实践中，如何系统性地探索空间、时间、数据与风险这四个维度的权衡空间？
• RQ3 战略性数据摘要是否在相同运行时间下，能实现比均匀子采样更低的风险？
• RQ4 此类权衡是否能在k-means与GMM等非凸问题中实际实现？
• RQ5 是否可能在无需穷举搜索的情况下，实现接近预言机性能的时间/风险权衡？

主要发现

• 在固定风险容差下，使用核心集时，随着数据规模增加，运行时间反而减少，表明存在数据-时间权衡。
• TRAM在所有数据集上均实现了接近核心集预言机的运行时间，仅比均匀子采样多出少量开销。
• 尽管均匀子采样在穷举搜索下计算成本更高，TRAM仍优于其性能表现。
• 在固定数据规模下，提高风险容差可减少所需运行时间，证实了风险-时间权衡的存在。
• 基于核心集的方法实现了显著加速——将Yahoo! WebScope等大规模数据集上GMM的训练时间从数周缩短至数分钟，同时保持低风险。
• 在合成数据、KDD2004BIO、CSN与WEBSCOPE数据集上的实证结果表明，核心集在时间/风险权衡空间中全面优于均匀子采样。