[论文解读] Unsupervised Activity Segmentation by Joint Representation Learning and Online Clustering.

Sateesh Kumar, Sanjay Haresh+4 more|arXiv (Cornell University)|May 27, 2021

Anomaly Detection Techniques and Applications参考文献 90被引用 5

一句话总结

该论文提出了一种用于无监督动作分割的联合表示学习与在线聚类框架，通过时间最优传输和时间一致性损失来保持序列顺序并提升嵌入质量。通过在线处理视频帧的小批量数据，该方法以极低的内存占用实现了最先进性能，在多个基准测试上优于先前的方法。

ABSTRACT

We present a novel approach for unsupervised activity segmentation, which uses video frame clustering as a pretext task and simultaneously performs representation learning and online clustering. This is in contrast with prior works where representation learning and clustering are often performed sequentially. We leverage temporal information in videos by employing temporal optimal transport and temporal coherence loss. In particular, we incorporate a temporal regularization term into the standard optimal transport module, which preserves the temporal order of the activity, yielding the temporal optimal transport module for computing pseudo-label cluster assignments. Next, the temporal coherence loss encourages neighboring video frames to be mapped to nearby points while distant video frames are mapped to farther away points in the embedding space. The combination of these two components results in effective representations for unsupervised activity segmentation. Furthermore, previous methods require storing learned features for the entire dataset before clustering them in an offline manner, whereas our approach processes one mini-batch at a time in an online manner. Extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par or better than previous methods for unsupervised activity segmentation, despite having significantly less memory constraints.

研究动机与目标

• 解决无监督动作分割中顺序表示学习与聚类的局限性。
• 实现在不存储完整特征嵌入的情况下对视频帧进行在线处理，从而降低内存使用。
• 通过最优传输和一致性损失引入时间结构，以提升表示质量。
• 在不依赖监督信号或离线聚类的情况下，实现具有竞争力的分割性能。

提出的方法

• 该方法将视频帧聚类作为代理任务，联合学习表示并执行在线聚类。
• 引入时间最优传输模块，以在伪标签分配中强制保持时间顺序。
• 应用时间一致性损失，以确保相邻帧在嵌入空间中映射得更近，而远距离帧则被推开。
• 该框架一次处理一个小型批量，实现低内存开销的在线学习。
• 通过组合损失组件，端到端地联合优化表示学习与聚类。

实验结果

研究问题

• RQ1 联合表示学习与在线聚类能否提升无监督动作分割的性能？
• RQ2 通过最优传输引入时间结构在多大程度上提升了聚类质量？
• RQ3 在线处理在多大程度上减少了内存使用而不牺牲性能？
• RQ4 时间一致性损失对学习到的嵌入质量有何影响？

主要发现

• 所提出的方法在 50-Salads、YouTube Instructions 和 Breakfast 数据集上的性能与之前的最先进方法相当或更优。
• 其在新收集的 Desktop Assembly 数据集上也表现出色，表明在不同领域间具有良好的泛化能力。
• 通过避免离线特征存储，该方法显著降低了内存使用，实现了在线处理。
• 时间最优传输与一致性损失的结合，产生了更具时间一致性和判别性的表示。