[论文解读] Unsupervised learning of clutter-resistant visual representations from natural videos

Qianli Liao, Joel Z. Leibo+1 more|arXiv (Cornell University)|Sep 12, 2014

Face recognition and analysis参考文献 33被引用 4

一句话总结

本文提出了一种受生物学启发的无监督学习框架，通过利用相邻视频帧之间的时序关联，从自然视频中学习对杂乱环境具有鲁棒性的视觉表征。通过直接从无标签的互联网视频中采样大尺寸、类别特定的滤波器（模板），并结合跨尺度和变换的归一化点积与最大池化操作，该模型在无任何标注数据或对齐处理的情况下，在无约束人脸识别（LFW）任务上达到了最先进性能，展示了对杂乱背景、视角变化和图像差异的强鲁棒性。

ABSTRACT

Populations of neurons in inferotemporal cortex (IT) maintain an explicit code for object identity that also tolerates transformations of object appearance e.g., position, scale, viewing angle [1, 2, 3]. Though the learning rules are not known, recent results [4, 5, 6] suggest the operation of an unsupervised temporal-association-based method e.g., Foldiak's trace rule [7]. Such methods exploit the temporal continuity of the visual world by assuming that visual experience over short timescales will tend to have invariant identity content. Thus, by associating representations of frames from nearby times, a representation that tolerates whatever transformations occurred in the video may be achieved. Many previous studies verified that such rules can work in simple situations without background clutter, but the presence of visual clutter has remained problematic for this approach. Here we show that temporal association based on large class-specific filters (templates) avoids the problem of clutter. Our system learns in an unsupervised way from natural videos gathered from the internet, and is able to perform a difficult unconstrained face recognition task on natural images: Labeled Faces in the Wild [8].

研究动机与目标

• 开发一种生物上合理的无监督学习方法，从自然视频中学习不变的视觉表征，且无需任何标注数据。
• 解决基于时序关联的无监督学习中视觉杂乱问题，该问题在真实场景中限制了模型性能。
• 证明仅使用归一化点积与池化操作的简单非参数前馈层级结构，即可在复杂视觉基准（如无约束人脸识别）上实现具有竞争力的性能。
• 验证自然视频中的时序连续性可作为强大的归纳偏置，即使在背景杂乱的情况下，也能学习到对象级别的不变性。

提出的方法

• 该模型采用分层Hubel-Wiesel（HW）架构，其中每一层通过输入特征与学习到的模板之间的归一化点积，随后进行池化操作。
• 模板直接从无标签训练数据中采样——具体而言，来自时间上相邻的视频帧——形成‘模板书’，以捕捉短时间窗口内的不变内容。
• 系统通过在固定时间窗口τ内关联帧来利用时序连续性，假设物体身份保持稳定，而外观变化仅由运动或视角改变引起。
• 采用两阶段特征提取流程：首先从图像块中提取低级特征（Gabor与PCA）；其次，利用这些特征生成高层表征的模板。
• 池化操作使用L-P范数（P ∈ [1, ∞]），其中P=1对应平均池化，P→∞对应最大池化，从而实现对空间位置、尺度和图像内旋转的灵活响应聚合。
• 最终表征通过在所有模板和空间尺度上进行池化获得，生成一个紧凑的签名向量，编码对变换具有不变性的物体身份。

实验结果

研究问题

• RQ1 能否利用自然视频中相邻帧的时序关联，在无需任何标注数据的情况下学习到对杂乱环境具有鲁棒性的视觉表征？
• RQ2 与通用或合成模板相比，使用从真实视频数据中采样得到的大尺寸、类别特定模板，是否能显著提升对视觉杂乱的鲁棒性？
• RQ3 基于归一化点积与池化的简单、非参数化、前馈架构，能否在无约束人脸识别等挑战性基准上实现具有竞争力的性能？
• RQ4 通过时序连续性学习到的对变换（如旋转、缩放、平移）的不变性，是否足以支持在真实世界场景中实现识别，即使没有显式的检测或对齐步骤？

主要发现

• 该模型在Labeled Faces in the Wild（LFW）基准上取得了具有竞争力的性能，证明了从未标注自然视频中进行无监督学习可实现强大的人脸识别能力，且无需任何标注数据或对齐处理。
• 系统能够直接从原始LFW数据集中识别无约束、未对齐的图像中的人脸，无需经过完整的检测-对齐-识别流水线。
• 该模型对视觉杂乱表现出强鲁棒性，在背景元素随帧显著变化的情况下仍能保持高性能。
• 使用中间L-P范数（如P ≈ 2–4）的池化优于平均池化与最大池化，在人脸检测任务中表现更优，表明敏感性与选择性之间的平衡最为理想。
• 使用从真实视频数据中提取的模板（而非合成或随机滤波器）是实现在复杂环境中实现不变性与高性能的关键因素。
• 该方法在仅使用224段YouTube人脸视频进行无监督预训练、且未在标注数据上进行微调的情况下，于其时代达到了LFW基准的最先进结果。