[论文解读] Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval

Zhaopeng Dou, Zhongdao Wang+3 more|arXiv (Cornell University)|Oct 24, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出不确定性感知学习（Uncertainty-Aware Learning, UAL），一种新颖的人行重识别方法，通过在统一网络中联合建模数据不确定性（样本质量）和模型不确定性（预测置信度），提升预测的可靠性。通过采用无采样数据不确定性学习方法与贝叶斯参数估计，UAL在单查询、多查询及风险控制设置下均实现性能提升，在三个基准数据集上取得最先进结果，且对低质量查询具有更强的鲁棒性。

ABSTRACT

Current person image retrieval methods have achieved great improvements in accuracy metrics. However, they rarely describe the reliability of the prediction. In this paper, we propose an Uncertainty-Aware Learning (UAL) method to remedy this issue. UAL aims at providing reliability-aware predictions by considering data uncertainty and model uncertainty simultaneously. Data uncertainty captures the ``noise" inherent in the sample, while model uncertainty depicts the model's confidence in the sample's prediction. Specifically, in UAL, (1) we propose a sampling-free data uncertainty learning method to adaptively assign weights to different samples during training, down-weighting the low-quality ambiguous samples. (2) we leverage the Bayesian framework to model the model uncertainty by assuming the parameters of the network follow a Bernoulli distribution. (3) the data uncertainty and the model uncertainty are jointly learned in a unified network, and they serve as two fundamental criteria for the reliability assessment: if a probe is high-quality (low data uncertainty) and the model is confident in the prediction of the probe (low model uncertainty), the final ranking will be assessed as reliable. Experiments under the risk-controlled settings and the multi-query settings show the proposed reliability assessment is effective. Our method also shows superior performance on three challenging benchmarks under the vanilla single query settings.

研究动机与目标

• 为解决现有行人重识别方法缺乏可靠性评估的问题，这些方法提供预测但不标明其置信度或质量。
• 通过在训练过程中基于自适应不确定性采样加权，降低低质量、模糊样本的影响，提升模型鲁棒性。
• 将数据不确定性（样本中的固有噪声）与模型不确定性（模型置信度）整合到统一框架中，实现可靠性感知的排序。
• 在多查询与风险控制检索设置中实现有效的可靠性评估，此类场景下查询质量差异显著。
• 证明不确定性感知学习可在无需外部监督或复杂采样过程的前提下，同时提升准确率与可靠性。

提出的方法

• 提出一种无采样方法，通过直接回归潜在特征分布的方差来学习数据不确定性，该方差用于在训练期间为样本分配自适应权重。
• 采用贝叶斯神经网络框架建模模型不确定性，其中网络参数假设服从伯努利分布，以捕捉预测置信度。
• 将数据不确定性与模型不确定性整合到统一的网络架构中，实现两类不确定性的端到端联合学习。
• 将潜在高斯分布的均值用作特征表示，方差用作数据不确定性度量。
• 在推理阶段使用蒙特卡洛丢弃法，进行T次采样，通过多次前向传播的方差估计模型不确定性。
• 结合两类不确定性以评估检索结果的可靠性：低数据不确定性（高质量图像）与低模型不确定性（高置信度）表明预测可靠。

实验结果

研究问题

• RQ1 联合建模数据与模型不确定性是否能提升行人重识别预测的可靠性？
• RQ2 无采样数据不确定性学习方法是否能有效抑制低质量、模糊训练样本的影响？
• RQ3 贝叶斯参数估计是否能有效捕捉ReID中的模型不确定性，且无需增加额外推理复杂度？
• RQ4 不确定性感知排序在多查询与风险控制检索设置中如何提升性能？
• RQ5 所提出的不确定性感知方法在标准单查询评估协议下是否达到最先进性能？

主要发现

• UAL在三个主要基准数据集上取得最先进性能：Market-1501（Rank-1: 95.2%，mAP: 87.0%）、CUHK03-NP（Rank-1: 80.0%，mAP: 56.5%）与MSMT17（Rank-1: 84.7%，mAP: 65.3%），采用ResNet50主干网络。
• 该方法在准确率与推理效率方面均显著优于强基线方法HOReID与PGFA，仅需17秒推理时间（T=5）。
• 消融实验表明，数据不确定性与模型不确定性均对性能有正向贡献，其中数据不确定性提升更大（例如在MSMT17上，两者结合时mAP提升+3.5%）。
• 该方法在HRNet-W32主干网络上也取得优异结果，在Market-1501上达到95.7% Rank-1与89.5% mAP，证明其在不同主干网络上的有效性。
• 在多查询与风险控制设置中，基于不确定性的可靠性评估通过降低低质量查询的权重，提升了检索性能，验证了方法的实际应用价值。
• 超参数T（蒙特卡洛采样次数）在T=10后对性能影响极小，表明该方法即使在小T值下也具备高效性与有效性。