[论文解读] Unsupervised Data Uncertainty Learning in Visual Retrieval Systems

Ahmed Taha, Yi‐Ting Chen+3 more|arXiv (Cornell University)|Feb 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用 5

一句话总结

本文提出了一种无监督的三元组损失扩展方法，通过为每个输入学习实例特定的不确定性估计，对视觉检索系统中的异方差数据不确定性进行建模。通过将不确定性整合到损失函数中，该方法提升了模型的鲁棒性、可解释性与效率——减少误差传播，并在不增加计算成本的前提下实现数据清洗。

ABSTRACT

We introduce an unsupervised formulation to estimate heteroscedastic uncertainty in retrieval systems. We propose an extension to triplet loss that models data uncertainty for each input. Besides improving performance, our formulation models local noise in the embedding space. It quantifies input uncertainty and thus enhances interpretability of the system. This helps identify noisy observations in query and search databases. Evaluation on both image and video retrieval applications highlight the utility of our approach. We highlight our efficiency in modeling local noise using two real-world datasets: Clothing1M and Honda Driving datasets. Qualitative results illustrate our ability in identifying confusing scenarios in various domains. Uncertainty learning also enables data cleaning by detecting noisy training labels.

研究动机与目标

• 解决视觉检索系统中固有的数据不确定性问题，特别是来自噪声标签和模糊输入的挑战。
• 通过在训练和推理阶段识别令人困惑或不确定的视觉样本，提升模型的可解释性。
• 通过在嵌入空间中建模局部噪声而不依赖标签化的不确定性，提升系统的鲁棒性与效率。
• 通过不确定性量化检测噪声训练标签，实现数据清洗。
• 通过识别高不确定性、模糊的驾驶场景，支持自动驾驶等安全关键型应用。

提出的方法

• 将标准三元组损失扩展，以整合锚点、正样本和负样本的实例特定不确定性估计。
• 通过学习每个数据点的输入相关不确定性方差 σ(x)，建模异方差不确定性，而非假设恒定的噪声水平。
• 将不确定性整合到损失函数中，使高不确定性输入在优化过程中被降权。
• 采用无监督公式，无需显式标注不确定性，从而可应用于现实世界中的噪声数据集。
• 通过避免引入额外参数或复杂推理机制，保持计算效率。
• 将该方法应用于图像（如行人重识别、时尚检索）和视频（如自动驾驶）检索任务。

实验结果

研究问题

• RQ1 在不依赖标签化不确定性的情况下，能否有效建模视觉检索系统中的异方差不确定性？
• RQ2 建模实例特定的不确定性在噪声数据集上如何提升检索性能与鲁棒性？
• RQ3 不确定性估计在多大程度上能够识别训练和测试数据中令人困惑或模糊的视觉样本？
• RQ4 不确定性建模是否能提升自动驾驶等现实应用中的可解释性与数据清洗能力？
• RQ5 该方法在不同数据模态（图像与视频）及类别不平衡条件下的表现如何？

主要发现

• 在图像和视频检索基准上，该方法将效率提升了1-2%。
• 在DukeMTMC-ReID数据集上，模型成功识别出如遮挡或模糊的行人重识别案例等高不确定性查询。
• 在Honda驾驶数据集中，系统检测到如被行人阻挡的右转或复杂变道等高不确定性驾驶操作。
• 在刺激驱动动作检索任务中，该方法实现了微平均mAP为68.20 ± 0.008，宏平均mAP为36.23 ± 0.008，优于基线模型。
• 定性结果表明，高不确定性查询始终与视觉混淆相关，如类别间相似性或遮挡，而低不确定性样本则更具区分性。
• 尽管性能有所提升，该方法对少数类表现出偏差，导致宏平均mAP下降，原因是对罕见但不确定的样本过度抑制。