[论文解读] Weighted Bilinear Coding over Salient Body Parts for Person Re-identification

Zhigang Chang, Qin Zhou+5 more|arXiv (Cornell University)|Mar 22, 2018

Video Surveillance and Tracking Methods参考文献 49被引用 6

一句话总结

该论文提出了一种加权双线性编码（WBC）框架，通过建模通道间特征相关性并根据局部特征的判别性重要性自适应加权，增强了行人重识别中的特征表示。结合显著部位网络实现空间对齐后，WBC在Market-1501、DukeMTMC-reID和CUHK03数据集上均取得性能提升，在767/700设置下于Market-1501上实现了50.1%的rank-1准确率，达到当前最先进水平。

ABSTRACT

Deep convolutional neural networks (CNNs) have demonstrated dominant performance in person re-identification (Re-ID). Existing CNN based methods utilize global average pooling (GAP) to aggregate intermediate convolutional features for Re-ID. However, this strategy only considers the first-order statistics of local features and treats local features at different locations equally important, leading to sub-optimal feature representation. To deal with these issues, we propose a novel weighted bilinear coding (WBC) framework for local feature aggregation in CNN networks to pursue more representative and discriminative feature representations, which can adapt to other state-of-the-art methods and improve their performance. In specific, bilinear coding is used to encode the channel-wise feature correlations to capture richer feature interactions. Meanwhile, a weighting scheme is applied on the bilinear coding to adaptively adjust the weights of local features at different locations based on their importance in recognition, further improving the discriminability of feature aggregation. To handle the spatial misalignment issue, we use a salient part net (spatial attention module) to derive salient body parts, and apply the WBC model on each part. The final representation, formed by concatenating the WBC encoded features of each part, is both discriminative and resistant to spatial misalignment. Experiments on three benchmarks including Market-1501, DukeMTMC-reID and CUHK03 evidence the favorable performance of our method against other outstanding methods.

研究动机与目标

• 解决基于CNN的行人重识别中全局平均池化（GAP）导致的次优特征表示问题，该方法忽略了特征相关性且对所有局部特征一视同仁。
• 通过双线性编码建模高阶特征交互以提升判别能力，同时基于特征识别重要性自适应加权。
• 通过显著部位网络自动检测并聚焦于关键身体部位，减轻重识别中的空间错位影响。
• 开发一种灵活的即插即用型特征聚合模块，可在不改变网络架构的前提下增强现有SOTA重识别模型。
• 通过端到端可训练方式拼接显著身体部位的WBC编码特征，实现鲁棒且具有判别性的外观表征。

提出的方法

• 应用双线性编码以捕捉局部卷积特征的通道间相关性，相比全局平均池化建模更丰富的高阶交互。
• 引入自适应加权机制，根据特征对识别任务的贡献度为其分配更高重要性。
• 集成显著部位网络（空间注意力模块）以检测并提取关键人体部位，降低对空间错位的敏感性。
• 对每个显著部位独立应用WBC，生成具有特定部位判别性的特征。
• 将所有显著部位的WBC编码特征拼接，形成最终的、鲁棒且抗对齐误差的全局表征。
• 使用三元组损失和特征拼接端到端训练整个框架，以学习每个部位的注意力掩码并提升特征判别性。

实验结果

研究问题

• RQ1 通过双线性编码建模通道间特征相关性，是否能相比全局平均池化显著提升基于CNN的行人重识别特征的判别能力？
• RQ2 基于更具信息量的局部特征重要性进行自适应加权，是否能带来更好的重识别性能？
• RQ3 显著部位网络能否通过聚焦关键身体区域有效减轻空间错位的影响？
• RQ4 将WBC与基于部位的表征相结合，能在标准重识别基准上实现多大程度的性能提升？
• RQ5 在标注框和检测框两种设置下，所提方法与PAN和DPFL等SOTA模型相比，在鲁棒性和准确率方面表现如何？

主要发现

• 在Market-1501数据集的767/700设置下，所提WBC框架实现了50.1%的rank-1准确率和42.1%的mAP，优于第二名方法（DPFL）7.1%（rank-1）和7.2%（mAP）。
• 在检测框设置下，方法达到47.7%的rank-1准确率和43.9%的mAP，优于第二名方法（PAN）2.4%（rank-1）和4.7%（mAP）。
• 当将WBC模型插入现有SOTA模型（如PCB-RPP）时，性能显著提升，证明其灵活性与泛化能力。
• 显著部位网络在对齐效果上优于PAN中全局参数化的空间变换模块，有助于提升在错位和噪声图像上的性能。
• 该方法对背景杂波和部分遮挡具有鲁棒性，但因衣物图案视觉相似或图像模糊仍存在失败案例。
• 在人工标注图像上的性能始终高于自动检测图像，表明检测噪声和空间错位仍是真实世界重识别应用中的主要挑战。