[论文解读] The Supervised IBP: Neighbourhood Preserving Infinite Latent Feature Models

Novi Quadrianto, Viktoriia Sharmanska+2 more|arXiv (Cornell University)|Sep 26, 2013

Advanced Image and Video Retrieval Techniques参考文献 35被引用 8

一句话总结

本文提出了一种监督型印度餐厅过程（IBP）变体，可推断出无限的二值潜在特征空间，同时保持数据的邻域结构。通过结合邻域保持原则与非参数先验，该模型能够动态学习最优的二值编码用于检索，从而在无需固定编码长度或预设特征的情况下实现高效的最近邻搜索。

ABSTRACT

We propose a probabilistic model to infer supervised latent variables in the Hamming space from observed data. Our model allows simultaneous inference of the number of binary latent variables, and their values. The latent variables preserve neighbourhood structure of the data in a sense that objects in the same semantic concept have similar latent values, and objects in different concepts have dissimilar latent values. We formulate the supervised infinite latent variable problem based on an intuitive principle of pulling objects together if they are of the same type, and pushing them apart if they are not. We then combine this principle with a flexible Indian Buffet Process prior on the latent variables. We show that the inferred supervised latent variables can be directly used to perform a nearest neighbour search for the purpose of retrieval. We introduce a new application of dynamically extending hash codes, and show how to effectively couple the structure of the hash codes with continuously growing structure of the neighbourhood preserving infinite latent feature space.

研究动机与目标

• 开发一种非参数概率模型，从未观察到的数据中推断出无限数量的二值潜在特征。
• 确保相似数据点（相同语义概念）获得相似的潜在编码，而相异点则被相互推开。
• 使推断出的潜在变量可直接用于汉明空间中的最近邻检索。
• 随着潜在特征空间结构的扩展，动态扩展哈希编码。
• 将哈希编码的结构与无限的、邻域保持的潜在特征模型相耦合。

提出的方法

• 该模型使用监督型印度餐厅过程先验，以允许存在无界数量的二值潜在特征。
• 通过将同类别数据点拉近、异类数据点推开，实现邻域保持。
• 推理机制联合学习活跃二值特征的数量及其取值，基于观测数据和类别标签。
• 潜在变量的结构设计使得其汉明距离能反映语义相似性。
• 该模型支持在新数据到达时动态扩展哈希编码，同时与不断演化的潜在空间保持一致。
• 采用概率框架，在邻域保持原则下联合优化特征选择与编码分配。

实验结果

研究问题

• RQ1 在监督设置下，如何推断出无限数量的、保持数据邻域结构的二值潜在特征？
• RQ2 如何有效将哈希编码的结构与非参数、动态演化的潜在特征空间相耦合？
• RQ3 能否将类似IBP的非参数先验适配为通过潜在编码相似性来强制语义相似性？
• RQ4 该模型如何在引入新数据时动态扩展其哈希编码表示？
• RQ5 推断出的潜在空间在多大程度上提升了最近邻检索的性能？

主要发现

• 该模型成功推断出无限数量的二值潜在特征，且无需预设编码长度。
• 推断出的潜在编码保持了邻域结构，相似数据点具有更相似的编码。
• 该模型可直接使用潜在编码在汉明空间中进行最近邻检索。
• 哈希编码的动态扩展与不断演化的潜在特征空间保持一致。
• 与固定长度哈希基线相比，该方法实现了具有竞争力的检索性能。
• 通过潜在结构的增量学习，该方法展示了可扩展性和对新数据的适应能力。