[论文解读] On Binary Embedding using Circulant Matrices

Felix X. Yu, Aditya Bhaskara+3 more|arXiv (Cornell University)|Nov 20, 2015

Face and Expression Recognition参考文献 40被引用 7

一句话总结

该论文提出循环二值嵌入（Circulant Binary Embedding, CBE），一种利用结构化循环矩阵加速高维数据二值嵌入的方法。通过利用快速傅里叶变换（FFT），CBE将时间复杂度从 𝒪(dk) 降低至 𝒪(d log d)，空间复杂度从 𝒪(dk) 降低至 𝒪(d)，在与非结构化方法相比性能损失可忽略的情况下实现了最先进的处理速度，同时支持数据相关优化以提升准确率。

ABSTRACT

Binary embeddings provide efficient and powerful ways to perform operations on large scale data. However binary embedding typically requires long codes in order to preserve the discriminative power of the input space. Thus binary coding methods traditionally suffer from high computation and storage costs in such a scenario. To address this problem, we propose Circulant Binary Embedding (CBE) which generates binary codes by projecting the data with a circulant matrix. The circulant structure allows us to use Fast Fourier Transform algorithms to speed up the computation. For obtaining $k$-bit binary codes from $d$-dimensional data, this improves the time complexity from $O(dk)$ to $O(d\log{d})$, and the space complexity from $O(dk)$ to $O(d)$. We study two settings, which differ in the way we choose the parameters of the circulant matrix. In the first, the parameters are chosen randomly and in the second, the parameters are learned using the data. For randomized CBE, we give a theoretical analysis comparing it with binary embedding using an unstructured random projection matrix. The challenge here is to show that the dependencies in the entries of the circulant matrix do not lead to a loss in performance. In the second setting, we design a novel time-frequency alternating optimization to learn data-dependent circulant projections, which alternatively minimizes the objective in original and Fourier domains. In both the settings, we show by extensive experiments that the CBE approach gives much better performance than the state-of-the-art approaches if we fix a running time, and provides much faster computation with negligible performance degradation if we fix the number of bits in the embedding.

研究动机与目标

• 解决传统二值嵌入方法在长码长下计算与存储成本过高的问题。
• 通过利用矩阵结构，开发一种快速、低存储的非结构化随机投影矩阵替代方案。
• 通过循环矩阵实现在保持相似性搜索关键角度保持特性的同时，高效计算二值码。
• 设计一种数据相关优化框架，以在随机初始化基础上进一步提升嵌入质量。
• 证明在固定时间或位长约束下，结构化循环投影可达到或超越非结构化及现有最先进方法的性能。

提出的方法

• 使用循环矩阵 A 将 d 维输入向量 x 投影至 k 位二值码，公式为 h(x) = sign(Ax)，其中 A 具有循环结构，可利用 FFT 实现加速。
• 通过利用循环矩阵的特征基，将矩阵-向量乘积的计算时间从 𝒪(dk) 降低至 𝒪(d log d)，从而实现 FFT 加速。
• 仅存储循环矩阵的第一行，将空间复杂度从 𝒪(dk) 降低至 𝒪(d)。
• 提出两种变体：CBE-rand（随机初始化的循环矩阵）和 CBE-opt（通过时频交替优化学习参数）。
• 设计一种新颖的优化算法，通过在时域与频域之间交替最小化目标函数，以学习数据相关的循环投影。
• 对投影后的向量应用符号函数，生成 {−1, 1}^k 中的二值码，从而保持输入向量之间的角度关系。

实验结果

研究问题

• RQ1 尽管循环矩阵在元素间引入了依赖关系，其是否仍能保持随机投影矩阵在二值嵌入中的角度保持特性？
• RQ2 在循环矩阵上使用 FFT 是否能在不牺牲嵌入质量的前提下，显著降低时间和空间复杂度？
• RQ3 与随机初始化相比，对循环矩阵参数进行数据相关学习是否能提升二值嵌入的性能？
• RQ4 在固定时间或位长约束下，CBE 与 FBE、FJLT 和 ITQ 等现有最先进方法相比，在速度和检索准确率方面表现如何？
• RQ5 CBE 在不同数据集和任务（如检索与分类）中是否表现出鲁棒性？

主要发现

• CBE-rand 在检索性能上与 FBE 和 FJLT 等现有最先进方法相当或更优，且由于 FFT 加速而显著更快。
• CBE-opt 在所有评估数据集中均达到最高召回率，优于 ITQ 和 FBE，尤其在高比特长度下表现更优。
• 在 Flickr-25600 数据集上，CBE-rand 的性能与 FBE 和 FJLT 相当或更优，且计算开销小得多。
• 在 ImageNet-25600 数据集上，CBE 在 25,600 位码下仍保持高分类准确率（24.55% ± 0.30），与 LSH 和双线性码相当，但速度远超后者。
• CBE 的时间复杂度从 𝒪(dk) 降低至 𝒪(d log d)，空间复杂度从 𝒪(dk) 降低至 𝒪(d)，从而实现对高维数据的高效处理。
• 理论分析表明，尽管循环矩阵中存在元素依赖关系，随机化 CBE 仍能保持 Johnson-Lindenstrauss 类嵌入的角度保持特性。