[论文解读] Sublinear Partition Estimation

Pushpendre Rastogi, Benjamin Van Durme|arXiv (Cornell University)|Aug 7, 2015

Advanced Image and Video Retrieval Techniques参考文献 17被引用 3

一句话总结

本文提出三种次线性方法以估算神经网络分类器中的配分函数，利用近似最近邻搜索和核特征映射来减少计算时间。MIMPS 方法仅使用 100 个头部样本和 100 个尾部样本即可实现高精度，优于常见 NCE 方法中假设 Z ≈ 1 的启发式策略。

ABSTRACT

The output scores of a neural network classifier are converted to probabilities via normalizing over the scores of all competing categories. Computing this partition function, $Z$, is then linear in the number of categories, which is problematic as real-world problem sets continue to grow in categorical types, such as in visual object recognition or discriminative language modeling. We propose three approaches for sublinear estimation of the partition function, based on approximate nearest neighbor search and kernel feature maps and compare the performance of the proposed approaches empirically.

研究动机与目标

• 解决在具有数万个输出类别的大规模神经网络分类器中计算配分函数 Z(q) = ∑exp(ui) 所带来的计算瓶颈。
• 将暴力计算配分函数的 O(N) 复杂度降低至次线性时间，从而在语言建模和图像识别等大规模词汇量任务中实现更快的推理速度。
• 开发实用且经验有效的估计器，避免对 Z 的外部模型依赖或训练时间约束。
• 在受控环境和真实世界条件下评估这些估计器的性能，特别是在语言建模任务中的表现。

提出的方法

• 提出 MIMPS（基于 MIPS 的重要性采样），该方法利用近似最近邻搜索识别出得分最高的 k 个类别，并使用这些样本进行重要性采样以估计 Z(q)。
• 引入 MINCE（基于 MIPS 的 NCE），将最近邻检索与噪声对比估计结合，利用一组少量的高分和低分类别来估计 Z(q)。
• 采用核特征映射将得分空间转换到更高维空间，使得内积更准确地逼近指数得分，从而实现高效估计。
• 采用两阶段采样策略：从最邻近的 k 个类别中抽取“头部”样本，从其余类别中抽取“尾部”样本，以平衡估计器的方差与偏差。
• 使用 FLANN 库实现基于 MIPS 的方法，并采用改进的 K-Means 树算法以实现高效检索。
• 通过合成数据的受控实验，隔离检索误差和样本数量对估计精度的影响。

实验结果

研究问题

• RQ1 能否有效利用近似最近邻搜索在次线性时间内估算配分函数？
• RQ2 最近邻算法中的检索误差如何影响配分函数估计的准确性？
• RQ3 在真实世界语言建模任务中，MIMPS 估计器是否优于假设 Z ≈ 1 的标准 NCE 启发式方法？
• RQ4 头部和尾部样本的数量如何影响估计精度与计算速度之间的权衡？
• RQ5 当与最近邻采样结合时，核特征映射能否提升配分函数估计的质量？

主要发现

• 在 Penn Treebank 测试集上，使用 100 个头部样本和 100 个尾部样本时，MIMPS 估计器的绝对误差为 198.5，显著优于 NCE 启发式方法的 352 误差。
• 在使用 100 个头部样本和 100 个尾部样本时，MIMPS 方法在 70.5% 的测试上下文中优于 NCE 启发式方法，表现出一致的改进。
• 该方法在保持高估计精度的同时，实现了比暴力计算快 10 倍的加速。
• 受控实验表明，估计误差随检索误差增加而上升，凸显了高精度最近邻索引的重要性。
• MINCE 估计器在实践中表现不佳，尽管理论上具有潜力，但未能获得可靠的估计结果。
• 结果表明，次线性配分函数估计的性能在很大程度上取决于底层最近邻索引机制的质量。