[论文解读] Projected support points: a new method for high-dimensional data reduction

Simon Mak, V. Roshan Joseph|arXiv (Cornell University)|Aug 23, 2017

3D Shape Modeling and Analysis参考文献 4被引用 11

一句话总结

本文提出投影支持点（Projected Support Points, PSPs），一种新颖的高维数据集降维方法，利用一种诱导稀疏性的（Sparsity-Inducing, SpIn）核函数以保留低维特征。通过将PSPs与实验设计及准蒙特卡洛方法相联系，该方法在稀疏性条件下克服了维度灾难，实现了基于大数据子采样与主要化-最小化优化的高效一次性及顺序降维，已在核学习与MCMC降维中取得成功应用。

ABSTRACT

In an era where big and high-dimensional data is readily available, data scientists are inevitably faced with the challenge of reducing this data for expensive downstream computation or analysis. To this end, we present here a new method for reducing high-dimensional big data into a representative point set, called projected support points (PSPs). A key ingredient in our method is the so-called sparsity-inducing (SpIn) kernel, which encourages the preservation of low-dimensional features when reducing high-dimensional data. We begin by introducing a unifying theoretical framework for data reduction, connecting PSPs with fundamental sampling principles from experimental design and Quasi-Monte Carlo. Through this framework, we then derive sparsity conditions under which the curse-of-dimensionality in data reduction can be lifted for our method. Next, we propose two algorithms for one-shot and sequential reduction via PSPs, both of which exploit big data subsampling and majorization-minimization for efficient optimization. Finally, we demonstrate the practical usefulness of PSPs in two real-world applications, the first for data reduction in kernel learning, and the second for reducing Markov Chain Monte Carlo (MCMC) chains.

研究动机与目标

• 为解决在下游计算昂贵时，高维大数据集的降维挑战，特别是当下游函数g仅在少数维度上活跃时。
• 克服现有数据降维方法中因假设g在全维上活跃而导致的维度灾难问题。
• 开发一种理论基础扎实的方法，通过新型诱导稀疏性（SpIn）核函数，保留高维数据中的低维结构。
• 利用大数据子采样与主要化-最小化优化，实现高效的一次性与顺序数据降维。
• 在真实应用场景中，如核学习与MCMC链降维中，展示其实际有效性。

提出的方法

• 提出一个统一的理论框架，将PSPs与实验设计及准蒙特卡洛方法相联系，以证明降维方法的合理性。
• 引入一种诱导稀疏性（SpIn）核函数，以在数据降维过程中促进低维特征的保留。
• 推导出在何种稀疏性条件下可解除维度灾难，确保理论上的可扩展性。
• 开发两种算法：一种用于一次性降维，另一种用于顺序降维，两者均结合大数据子采样与主要化-最小化优化，以实现高效优化。
• 采用一个主要化抛物面来上界SpIn核函数，从而通过凸松弛实现凸优化。
• 通过递归计算核精度矩阵的对角元素，高效计算SpIn核函数的参数。

实验结果

研究问题

• RQ1 当下游函数g仅在少数维度上活跃时，能否使数据降维方法对高维数据具有鲁棒性？
• RQ2 g中的何种稀疏性结构可使数据降维中解除维度灾难？
• RQ3 如何设计一种新型核函数，以在数据降维过程中优先保留低维特征？
• RQ4 能否开发出利用子采样与优化技术、可扩展至大数据集的一次性与顺序高效降维算法？
• RQ5 在核学习与MCMC降维中，所提出的PSP方法相较于现有方法在性能上表现如何？

主要发现

• PSP方法通过利用诱导稀疏性（SpIn）核函数，成功实现了高维数据的降维，同时保留了低维特征。
• 理论分析表明，在稀疏性条件下，维度灾难被解除，从而实现了可扩展的数据降维。
• 一次性与顺序PSP算法通过大数据子采样与主要化-最小化优化实现高效优化，确保计算可行性。
• 在核学习中，PSP显著减少了训练数据规模，同时保持了预测准确性，降低了计算成本。
• 在MCMC降维中，PSP实现了对高维后验样本的有效传播，通过昂贵的模拟计算，减少了存储与计算开销。
• SpIn核函数参数的递归计算确保了即使在高维问题中，也能实现高效且可扩展的实现。