[论文解读] Rates of Convergence for Large-scale Nearest Neighbor Classification

Xingye Qiao, Jiexin Duan+1 more|arXiv (Cornell University)|Sep 3, 2019

Data Stream Mining Techniques被引用 7

一句话总结

本文提出了一种大规模最近邻（bigNN）分类器，这是一种用于大规模最近邻分类的分布式分治方法，通过将数据分割到多台机器上处理，分别进行局部k-最近邻分类，并通过多数投票机制整合结果。该方法证明了bigNN在过剩风险和分类不稳定性方面达到了与理想k-最近邻分类器相同的最优收敛速率，且在性能和计算加速方面具有理论保证，尤其通过预训练加速实现。

ABSTRACT

Nearest neighbor is a popular class of classification methods with many desirable properties. For a large data set which cannot be loaded into the memory of a single machine due to computation, communication, privacy, or ownership limitations, we consider the divide and conquer scheme: the entire data set is divided into small subsamples, on which nearest neighbor predictions are made, and then a final decision is reached by aggregating the predictions on subsamples by majority voting. We name this method the big Nearest Neighbor (bigNN) classifier, and provide its rates of convergence under minimal assumptions, in terms of both the excess risk and the classification instability, which are proven to be the same rates as the oracle nearest neighbor classifier and cannot be improved. To significantly reduce the prediction time that is required for achieving the optimal rate, we also consider the pre-training acceleration technique applied to the bigNN method, with proven convergence rate. We find that in the distributed setting, the optimal choice of the neighbor $k$ should scale with both the total sample size and the number of partitions, and there is a theoretical upper limit for the latter. Numerical studies have verified the theoretical findings.

研究动机与目标

• 为解决大规模数据集超出单机内存、通信或隐私限制时的最近邻分类挑战。
• 开发一种分布式、用户友好且计算高效的分类方法，避免跨位置共享原始数据。
• 从理论上建立bigNN分类器在过剩风险和分类不稳定性方面的收敛速率。
• 研究数据划分和邻居选择对统计性能与预测速度的影响。
• 提出并分析一种预训练加速技术，确保在减少预测时间的同时保持最优收敛速率。

提出的方法

• bigNN分类器将大规模数据集划分为s个互不相交的子样本，每个子样本在独立的机器上进行本地k-最近邻分类。
• 各子样本的本地预测结果通过多数投票机制聚合，得出最终分类决策，避免传输原始数据。
• 在最小假设下对方法进行理论分析，推导出过剩风险和分类不稳定性（CIS）的收敛速率。
• 引入一种预训练加速技术，通过去噪数据结构来加速预测，减轻最近邻搜索的计算负担。
• 证明最优的k值与总样本量N和划分数量s均成比例，且给出了s的理论上限。
• 理论分析表明，bigNN实现了与理想k-最近邻分类器相同的收敛速率，证实了其统计最优性。

实验结果

研究问题

• RQ1 在最小假设下，bigNN分类器在过剩风险和分类不稳定性方面的收敛速率如何？
• RQ2 在分布式设置下，bigNN分类器能否实现与理想k-最近邻分类器相同的统计性能？
• RQ3 划分数量s如何影响bigNN的性能？是否存在s的最优缩放方式？
• RQ4 能否在不牺牲统计准确性或收敛速率的前提下，将预训练加速应用于bigNN？
• RQ5 bigNN的划分数量s的理论上限是多少，以维持最优性能？

主要发现

• bigNN分类器在过剩风险和分类不稳定性方面实现了与理想k-最近邻分类器相同的最优收敛速率，证实了其统计最优性。
• bigNN的收敛速率是紧致的，即使在对底层数据分布的假设极弱的情况下也无法进一步改进。
• 预训练加速显著减少了预测时间，且统计准确性损失可忽略不计，同时保持了相同的收敛速率。
• bigNN中邻居数k的最优选择与总样本量N和划分数s均成比例，确保了性能的稳定性。
• 存在一个划分数s的理论上限，超过该上限后性能会因局部分类器偏差增加而下降。
• 在真实数据集（如HTRU2、SUSY、Credit）上的数值实验表明，bigNN在测试误差和CIS方面与理想k-最近邻分类器相当，同时实现了显著的加速——在某些情况下提速高达88倍，尤其当s增大时；但当s增长过快时（如γ ≥ 0.4），性能会下降。