[论文解读] Probing the State of the Art: A Critical Look at Visual Representation Evaluation

Cinjon Resnick, Zeping Zhan+1 more|arXiv (Cornell University)|Nov 30, 2019

Multimodal Machine Learning Applications参考文献 32被引用 10

一句话总结

本文挑战了线性探测在评估自监督视觉表征时的依赖性，表明即使在线性分类任务中表现不佳的模型，仍能在复杂、时序的任务（如视频动作定位）中表现出色。通过一个新数据集 Gymnastics，作者发现自监督模型（如 CorrFlow 和 TimeCycle DFC）在分布外的视频数据上甚至优于监督模型（如 TSN、ResNet），揭示了线性探测不足以评估迁移能力，且模型架构偏差显著影响评估结果。

ABSTRACT

Self-supervised research improved greatly over the past half decade, with much of the growth being driven by objectives that are hard to quantitatively compare. These techniques include colorization, cyclical consistency, and noise-contrastive estimation from image patches. Consequently, the field has settled on a handful of measurements that depend on linear probes to adjudicate which approaches are the best. Our first contribution is to show that this test is insufficient and that models which perform poorly (strongly) on linear classification can perform strongly (weakly) on more involved tasks like temporal activity localization. Our second contribution is to analyze the capabilities of five different representations. And our third contribution is a much needed new dataset for temporal activity localization.

研究动机与目标

• 挑战线性探测作为评估自监督视觉表征主要指标的有效性。
• 探究自监督模型在复杂、时序的视频理解任务中是否比监督模型泛化能力更强。
• 引入一个更大、更自然的新型数据集——Gymnastics，用于时序动作定位，旨在减少分布偏差。
• 在多种具有不同数据分布的基准上，分析五种表征（三种自监督，两种监督）的迁移性能。
• 主张将评估方式从线性探测转向少样本学习，强调样本复杂度是衡量迁移能力的更好代理指标。

提出的方法

• 作者使用 ImageNet 和 CIFAR-10 上的线性探测作为标准基准，以比较不同模型的表征质量。
• 他们在两个时序动作定位数据集上评估模型：Thumos14 和一个新引入的 Gymnastics 数据集，后者包含多类别、长时长的视频片段。
• 对于定位任务，采用两阶段方法：首先通过时间滑动窗口生成候选片段，然后使用学习到的表征进行分类。
• 他们使用平均平均精度（mAP）和不同候选数（如 100、500、1000 个候选）下的召回率来比较模型性能。
• 他们在三种评估设置下分析模型排名：线性分类、Thumos14 定位和 Gymnastics 定位，以检测性能排序的不一致。
• 他们引入领域自适应微调（DFC）和非领域自适应（NFC）评估协议，以评估模型对分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 线性探测是否足以或可靠地作为评估自监督视觉表征迁移能力的指标？
• RQ2 在测试分布与训练分布不同的情况下，自监督模型在时序动作定位任务中的迁移性能与监督模型相比如何？
• RQ3 架构选择或训练数据分布偏差在标准评估协议中对模型排名的影响有多大？
• RQ4 在少样本、分布外的迁移学习场景中，自监督表征能否达到或超越监督模型的性能？
• RQ5 当在非线性、时序任务与线性探测任务上评估时，模型的性能排序是否发生显著变化？

主要发现

• 在 Thumos14 数据集上，监督模型 TSN 在时序动作定位任务中优于所有自监督模型，表明其在相似数据上训练具有分布优势。
• 在更具多样性且分布外的 Gymnastics 数据集上，自监督模型如 CorrFlow DFC 和 TimeCycle DFC 的表现优于 TSN 甚至 ResNet，尤其在低候选数（如 100 个候选）时，显示出强大的泛化能力。
• AMDIM 在线性探测任务中排名靠前，但在时序定位任务中表现不佳，与其文献中公认的强项相矛盾，揭示了线性与非线性评估之间的脱节。
• 模型在不同评估任务中的排名存在显著差异：例如，TimeCycle 在线性探测中排名靠前，但在定位任务中排名较低；而 CorrFlow 在线性任务中排名较低，但在非线性视频任务中排名更高。
• TSN 在 Thumos14 上的性能提升得益于其在 UCF-101 上的训练，该数据集与之相似；但这种优势在更不相似的 Gymnastics 数据集上减弱，表明分布对齐对迁移成功至关重要。
• 结果表明，线性探测是衡量迁移能力的不良代理，因为模型排名在不同评估范式间不一致；而少样本学习中的样本复杂度可能是更优的评估指标。