[论文解读] PQk-means: Billion-scale Clustering for Product-quantized Codes

Yusuke Matsui, Keisuke Ogaki+2 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Image and Video Retrieval Techniques参考文献 25被引用 3

一句话总结

PQk-means 是一种内存高效的百亿规模聚类方法，直接在乘积量化（PQ）码上操作，而非原始的高维向量。通过使用稀疏投票机制进行中心更新，并利用 PQTable 实现快速分配，仅使用 32 GB 内存即实现了对十亿个 128D SIFT 特征、K=10⁵ 的 14 小时聚类——即使使用 32 位 PQ 码也表现出具有竞争力的准确性。

ABSTRACT

Data clustering is a fundamental operation in data analysis. For handling large-scale data, the standard k-means clustering method is not only slow, but also memory-inefficient. We propose an efficient clustering method for billion-scale feature vectors, called PQk-means. By first compressing input vectors into short product-quantized (PQ) codes, PQk-means achieves fast and memory-efficient clustering, even for high-dimensional vectors. Similar to k-means, PQk-means repeats the assignment and update steps, both of which can be performed in the PQ-code domain. Experimental results show that even short-length (32 bit) PQ-codes can produce competitive results compared with k-means. This result is of practical importance for clustering in memory-restricted environments. Using the proposed PQk-means scheme, the clustering of one billion 128D SIFT features with K = 10^5 is achieved within 14 hours, using just 32 GB of memory consumption on a single computer.

研究动机与目标

• 解决标准 k-means 在百亿规模、高维数据上带来的高内存和高计算成本问题。
• 实现在内存受限（如 <32 GB 内存）的单台机器上对大规模数据集的高效聚类。
• 通过乘积量化显著降低内存占用的同时保持聚类准确性。
• 为 PQ 码开发一种快速且精确的中心更新机制，因为 PQ 码缺乏显式的平均语义。
• 确保聚类后可从 PQ 码近似重建原始向量，从而保留下游任务的实用性。

提出的方法

• 使用乘积量化（PQ）将高维特征向量压缩为短的乘积量化（PQ）码。
• 直接在 PQ 码域执行聚类，避免对原始高维向量进行存储和计算。
• 使用 PQTable 加速最近中心分配步骤，通过快速查找每个聚类中心最近的 PQ 码。
• 提出一种稀疏投票机制用于中心更新：为每个聚类维护已分配 PQ 码的频率直方图，并通过非零条目中的众数确定新中心。
• 通过仅关注非零直方图条目实现精确的中心计算，避免对所有可能的 PQ 码组合进行暴力计算。
• 迭代交替执行分配（使用 PQTable）和更新（使用稀疏投票）步骤，直至收敛。

实验结果

研究问题

• RQ1 是否可以在单台机器上仅使用 32 GB 内存，对百亿规模、高维数据实现高效聚类？
• RQ2 在使用短 PQ 码（如 32 位）时，PQk-means 的准确性与标准 k-means 及其他大规模聚类方法相比如何？
• RQ3 聚类后是否能从 PQ 码近似重建原始高维向量，从而保留下游应用的实用性？
• RQ4 与暴力方法相比，PQ 码中心更新的稀疏投票机制在计算效率和精确性方面是否均表现优异？
• RQ5 PQk-means 在 SIFT1B 和 Deep1B 等不同大规模数据集上的运行时间和内存使用情况如何扩展？

主要发现

• PQk-means 仅使用 32 GB 内存，在 14 小时内成功对十亿个 128D SIFT 特征（K=10⁵）完成聚类，而标准 k-means 则需 512 GB 内存。
• 使用 32 位 PQ 码时，PQk-means 的聚类准确性与标准 k-means 相当，且优于 Bk-means，即使 Bk-means 使用了 64 位码。
• 稀疏投票机制实现了精确的中心计算并带来显著加速，避免了评估所有可能 PQ 码组合的计算负担。
• 在 SIFT1B 和 Deep1B 数据集上的运行时间表现可预测且一致，10⁹ 个向量、K=10⁵ 的聚类分别在 14 小时（SIFT1B）和 12 小时（Deep1B）内完成。
• PQk-means 即使使用短的 32 位 PQ 码也保持了高准确性，证明其在内存受限环境下的实际可行性。
• 与 IQ-means 相比，PQk-means 在 YFCC100M 数据集上实现了显著更高的准确性，同时保持内存效率；与 Ak-means 相比，其内存需求远低于后者，因为它在压缩码上运行。