[论文解读] When crowds hold privileges: Bayesian unsupervised representation learning with oracle constraints

Theofanis Karaletsos, Serge Belongie+1 more|arXiv (Cornell University)|Jan 1, 2015

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 6

一句话总结

本文提出了一种贝叶斯无监督表征学习框架，通过三元组形式的排序约束将众包获取的相似性信息整合到生成模型中，以丰富潜在空间的语义。通过结合变分推断与类oracle的人类感知数据，该方法在无需显式标签的情况下显著提升了图像分类性能，证明了众包标注的相对相似性可有效塑造语义上合理的表征。

ABSTRACT

Representation learning systems typically rely on massive amounts of labeled data in order to be trained effectively. Recently, high-dimensional parametric models like convolutional neural networks have succeeded in building rich representations using either compressive, reconstructive or supervised criteria. However, the semantic structure inherent in observations is oftentimes lost in the process. Human perception excels at understanding semantics but cannot always be expressed in terms of labels. Human-in-the-loop systems like crowdsourcing are often employed to generate similarity constraints using an implicit similarity function encoded in human perception. We propose to combine generative unsupervised feature learning with learning from similarity orderings in order to learn models which take advantage of privileged information coming from the crowd. We use a fast variational algorithm to learn the model on standard datasets and demonstrate applicability to two image datasets, where classification is drastically improved. We show how triplet-samples of the crowd can supplement labels as a source of information to shape latent spaces with rich semantic information.

研究动机与目标

• 解决尽管使用高容量模型，无监督表征学习中语义结构丧失的问题。
• 利用人类参与的系统（如众包）通过相似性排序注入隐含的语义知识。
• 开发一种可扩展的快速变分推断方法，将类oracle约束整合到生成模型中。
• 证明基于三元组的众包反馈可作为强大的、无标签的特权信息源，用于表征学习。

提出的方法

• 该方法采用贝叶斯生成模型，从原始数据中学习潜在表征，无需标签。
• 将来自众包判断的三元组相似性约束作为对潜在空间的软约束引入。
• 使用快速变分推断算法优化模型，实现在标准图像数据集上的高效训练。
• 通过概率目标函数联合优化重建损失与对众包相对相似性偏好的对齐。
• 潜在空间被设计为使人类判断更相似的样本在空间中彼此更接近。
• 该框架将众包反馈视为特权信息，类似于一个oracle，以指导表征学习。

实验结果

研究问题

• RQ1 众包获取的相对相似性判断能否提升无监督表征的语义质量？
• RQ2 在无标签条件下，人类感知的三元组约束在多大程度上能有效塑造潜在空间的结构？
• RQ3 在无监督学习中，整合类oracle反馈在多大程度上能提升下游分类性能？
• RQ4 快速变分推断方法能否在整合人类参与式约束的同时，扩展到标准图像数据集？

主要发现

• 将众包三元组约束整合后，即使无显式标签，图像分类性能也得到显著提升。
• 通过将潜在空间与编码在相似性排序中的感知一致性对齐，该方法实现了更优的表征质量。
• 变分推断的使用实现了高效训练，使该方法可扩展至标准图像数据集。
• 实验表明，来自众包的相对相似性反馈可有效充当一种特权信息，以指导表征学习。
• 该方法通过利用人类感知中的隐含语义知识，优于标准的无监督基线方法。
• 结果证实，当生成模型受到人类参与式相似性约束引导时，语义结构得以保留并得到增强。