[论文解读] Simple vs complex temporal recurrences for video saliency prediction

Panagiotis Linardos, Eva Mohedano+4 more|arXiv (Cornell University)|Jul 3, 2019

Visual Attention and Saliency Detection参考文献 26被引用 26

一句话总结

本文提出了两种时间递归机制——ConvLSTM 和一种简单的指数移动平均（EMA）——用于视频显著性预测，表明轻量级 EMA 的性能可与更复杂的 ConvLSTM 相媲美，达到最先进水平。EMA 方法通过单个可学习参数在时间上平滑内部特征，其在 DHF1K 和 Hollywood-2 数据集上的表现优于或匹配 ConvLSTM，提示复杂 RNN 可能对显著性建模而言过于复杂。

ABSTRACT

This paper investigates modifying an existing neural network architecture for static saliency prediction using two types of recurrences that integrate information from the temporal domain. The first modification is the addition of a ConvLSTM within the architecture, while the second is a conceptually simple exponential moving average of an internal convolutional state. We use weights pre-trained on the SALICON dataset and fine-tune our model on DHF1K. Our results show that both modifications achieve state-of-the-art results and produce similar saliency maps. Source code is available at https://git.io/fjPiB.

研究动机与目标

• 探究更简单的时序递归机制是否能在视频显著性预测中达到或超越复杂 RNN 的性能。
• 评估轻量级指数移动平均（EMA）作为深度神经网络中时序递归机制的有效性。
• 挑战认为复杂架构如 ConvLSTM 对建模视频显著性中的时序动态是必要的这一假设。
• 通过实证与消融实验，提供 EMA 与 ConvLSTM 在此任务中功能相似性与性能差异的证据。
• 倡导在消融研究中使用简单、可解释的函数，以更深入理解模型行为，而不仅关注性能提升。

提出的方法

• 在预训练的静态显著性模型中增加一个 ConvLSTM 层，以捕捉时空依赖性。
• 提出 EMA 在递归更新内部卷积特征中的新颖应用：$ E_t = \alpha S_t + (1 - \alpha) E_{t-1} $，其中 $ S_t $ 为当前特征图，$ \alpha $ 为可学习或固定的超参数。
• 使用 SALICON 的预训练权重，在 DHF1K 数据集上进行微调，以提升泛化能力。
• 训练 EMA 模型时，将 $ \alpha $ 参数设为可学习，并通过 Sigmoid 函数约束以确保凸组合：$ \alpha = \sigma(p) $，其中 $ p $ 为可训练参数。
• 使用标准指标（NSS、CC、AUC-J、s-AUC 和 SIM）在 DHF1K 和 Hollywood-2 的验证集上对比两种模型。
• 对性能差异较大的视频样本进行定性分析，以理解失败模式与真实标签偏差。

实验结果

研究问题

• RQ1 简单的指数移动平均（EMA）递归机制是否能在视频显著性预测中实现与 ConvLSTM 相当的性能？
• RQ2 在多样化视频内容中，EMA 与 ConvLSTM 生成的显著性图在空间与时间一致性方面有何差异？
• RQ3 EMA 机制是否近似于 ConvLSTM 的功能，还是学习了根本不同的时序整合策略？
• RQ4 EMA 模型对平滑参数 $ \alpha $ 的选择有多敏感？端到端学习 $ \alpha $ 是否能提升性能？
• RQ5 真实标签中的偏差（如中心聚焦的高斯分布）在多大程度上影响 EMA 与 ConvLSTM 的相对性能？

主要发现

• 基于 EMA 的模型（SalEMA）在 DHF1K 验证集上达到最先进性能，NSS = 2.495，AUC-J = 0.886，表现与或略优于 ConvLSTM 基线。
• SalEMA 对超参数 $ \alpha $ 的性能表现稳健，在 $ \alpha \in \{0.05, 0.1, 0.2, 0.3\} $ 范围内性能下降极小，表明其具有高度稳定性。
• 当 $ \alpha $ 设为可学习参数时，模型收敛至 $ \alpha \approx 0.1477 $，性能与最佳固定 $ \alpha $ 设置相当。
• 定性分析显示，SalEMA 在某些视频中能更好地捕捉人脸等显著目标，而 SalCLSTM 更倾向于关注中心区域，尤其在具有中心高斯真实标签的视频中。
• 在 Hollywood-2 数据集（包含短时或单帧剪辑）上，SalCLSTM 比 SalEMA 高出约 4 个 NSS 点，表明 EMA 可能在处理突发或短暂显著事件时存在困难。
• 尽管整体性能相近，两种模型在某些情况下生成的显著性图存在显著差异，表明 EMA 与 ConvLSTM 所学习的函数并非等价，即使其指标得分接近。