[论文解读] S3-CLIP: Video Super Resolution for Person-ReID

Endrei Tamás, György Cserey|arXiv (Cornell University)|Jan 13, 2026

Video Surveillance and Tracking Methods被引用 0

一句话总结

S3-CLIP 引入了一种无 GAN 的、以任务驱动为目标的视频超分辨率框架，用于跨视图人群再识别，通过两阶段训练策略在预处理视频轨迹时使用 SwinIR 基于超分辨率和 CLIP 基于 ReID 的目标来提高跨视图匹配，特别是地面到空中（ground→aerial）的匹配。

ABSTRACT

Tracklet quality is often treated as an afterthought in most person re-identification (ReID) methods, with the majority of research presenting architectural modifications to foundational models. Such approaches neglect an important limitation, posing challenges when deploying ReID systems in real-world, difficult scenarios. In this paper, we introduce S3-CLIP, a video super-resolution-based CLIP-ReID framework developed for the VReID-XFD challenge at WACV 2026. The proposed method integrates recent advances in super-resolution networks with task-driven super-resolution pipelines, adapting them to the video-based person re-identification setting. To the best of our knowledge, this work represents the first systematic investigation of video super-resolution as a means of enhancing tracklet quality for person ReID, particularly under challenging cross-view conditions. Experimental results demonstrate performance competitive with the baseline, achieving 37.52% mAP in aerial-to-ground and 29.16% mAP in ground-to-aerial scenarios. In the ground-to-aerial setting, S3-CLIP achieves substantial gains in ranking accuracy, improving Rank-1, Rank-5, and Rank-10 performance by 11.24%, 13.48%, and 17.98%, respectively.

研究动机与目标

• 在跨视图、分辨率不匹配场景（地面到空中和空中到地面）下，激发并解决视频轨迹在 ReID 中的质量问题。
• 提出一个不依赖对抗训练的、提升 ReID 性能的视频超分辨率管线。
• 开发一个以任务驱动为目标的两阶段训练策略，在同时优化 SR 与 ReID 的同时保持时间一致性。
• 在 DetReIDX 上评估该方法，以量化跨视图匹配的增益，尤其是 G→A 场景的提升。

提出的方法

• 采用两阶段训练策略：先优化 SR 网络，同时冻结 ReID 骨干网络；随后固定 SR 网络，优化 ReID 骨干。
• 将 SwinIR 作为 SR 模块，在受 SING 启发的半监督采样框架中对低分辨率视频轨迹进行上采样，实现在不需要大量成对数据的情况下创建高/低分辨率对。
• 加入时间一致性损失，强制跨帧输出平滑，减少轨迹中的时间伪影。
• 采用基于 CLIP 的 ReID 骨干（VSLA-CLIP），通过平台-桥接提示对齐空中与地面视角，缩小域差。
• 运算器损失包括像素损失、任务驱动感知损失、SR 的时间损失，以及与 ReID 相关的 v2sce、三元组、身份、图像到文本和文本到图像等损失的组合。
• 提出的 S3-CLIP 可以在 SwinIR 基于的 SR 模块下工作，并且与其他 ReID 骨干兼容；它建立在 SING 采样、SwinIR 和 SR4IR 训练概念之上。

实验结果

研究问题

• RQ1 在地面和空中摄像机之间存在极端分辨率不匹配时，视频超分辨率是否可以改善跨视图的人群 ReID？
• RQ2 是否无需 GAN 的、以任务驱动为目标的 SR 方法就能在不引入误导性伪影的情况下恢复身份可辨细节？
• RQ3 两阶段训练机制是否能够缓解梯度冲突并改善 SR 与 ReID 联合优化的收敛性？
• RQ4 在 DetReIDX 上，SR 预处理如何影响空-地和地-空匹配的 Rank-1、Rank-5、Rank-10 及 mAP？

主要发现

• S3-CLIP 在地面到空中匹配上取得显著增益，在 G→A 协议下，在某些配置中相较基线提升 R1 高达 11.24%、R10 高达 17.98%。
• 在空中到地面的匹配中，联合优化的变体 S3-CLIP: S+I 相较基线取得适度增益（如 R1 +0.69%、R10 +1.12%、mAP +0.49），而单分支变体也在若干指标上有所提升。
• 总体而言，SR 预处理对跨视图 ReID 提供显著收益，特别是在查询来自地面、画册来自空中的情形，证明任务驱动的 SR 在降低分辨率不匹配上的实用性。
• 该方法的结果与基线具有竞争力，并验证了视频 SR 的时间一致性对稳定身份表征的重要性。