[论文解读] Representation Learning via Adversarially-Contrastive Optimal Transport

Anoop Cherian, Shuchin Aeron|arXiv (Cornell University)|Jul 11, 2020

Human Pose and Action Recognition被引用 5

一句话总结

本文提出对抗性对比最优传输（ACOT），一种新颖的表示学习框架，通过联合优化低维数据子空间、基于Wasserstein GAN的对抗性负样本生成以及基于最优传输的时序顺序约束，实现对视频动作识别的竞争力表现。该方法通过学习对对抗性噪声具有强对比性的鲁棒且紧凑的表示，提升了性能。

ABSTRACT

In this paper, we study the problem of learning compact (low-dimensional) representations for sequential data that captures its implicit spatio-temporal cues. To maximize extraction of such informative cues from the data, we set the problem within the context of contrastive representation learning and to that end propose a novel objective via optimal transport. Specifically, our formulation seeks a low-dimensional subspace representation of the data that jointly (i) maximizes the distance of the data (embedded in this subspace) from an adversarial data distribution under the optimal transport, a.k.a. the Wasserstein distance, (ii) captures the temporal order, and (iii) minimizes the data distortion. To generate the adversarial distribution, we propose a novel framework connecting Wasserstein GANs with a classifier, allowing a principled mechanism for producing good negative distributions for contrastive learning, which is currently a challenging problem. Our full objective is cast as a subspace learning problem on the Grassmann manifold and solved via Riemannian optimization. To empirically study our formulation, we provide experiments on the task of human action recognition in video sequences. Our results demonstrate competitive performance against challenging baselines.

研究动机与目标

• 为解决顺序视频数据的紧凑、信息丰富的低维表示学习挑战，同时保留时空结构。
• 通过生成高质量、任务相关的负样本而非依赖随机或启发式负样本来改进对比表示学习。
• 通过基于最优传输的统一目标，联合优化表示学习、对抗性负样本生成与时序顺序约束。
• 通过专门设计的失真惩罚项，减少数据失真并保持学习到的子空间表示的保真度。

提出的方法

• 将表示学习建模为Grassmann流形优化问题，以在Wasserstein距离下找到与对抗性噪声最大分离的低维子空间。
• 提出一种新颖的基于WGAN的框架，生成基于正样本条件的对抗性噪声，确保高判别性的同时保持与输入分布的相关性。
• 通过最优传输将正样本与生成的负样本耦合，学习数据点到其最近负样本的软性、概率性分配。
• 引入时序顺序约束，以在投影表示中保持序列结构。
• 引入失真惩罚项，确保投影表示在嵌入空间中保持与原始数据的接近性。
• 采用线性分类器引导生成器生成被错误分类的对抗样本，从而在判别性与表示质量之间实现合理权衡。

实验结果

研究问题

• RQ1 与随机或启发式负样本相比，对抗性生成的负样本是否能提升视频动作识别中的对比表示学习？
• RQ2 基于最优传输的正负样本耦合在低维子空间中如何增强表示质量？
• RQ3 表示学习、对抗性生成与时序建模的联合优化框架在视频分类任务中能多大程度上提升性能？
• RQ4 集成分类器引导的WGAN是否能提升负样本质量并带来更好的下游性能？
• RQ5 所提出方法在顺序数据中如何平衡表示紧凑性、失真与时序一致性？

主要发现

• 所提出的ACOT框架在人体动作识别基准上实现了具有竞争力的性能，优于使用现成特征的强基线模型。
• 使用分类器引导的WGAN生成的负样本在对比学习中表现优于随机或非对抗性负样本采样。
• 通过失真惩罚项保持了高表示保真度，防止过度正则化并保留了判别性特征。
• 子空间学习、最优传输耦合与时序顺序的联合优化，产生了在视频序列间具有良好泛化能力的鲁棒表示。
• 在500次迭代后，WGAN生成器在分类器上的“欺骗率”约为80%，表明对抗样本生成有效。
• 消融实验表明，噪声注入中的σ = 0.01在对抗样本质量与下游性能之间实现了最佳权衡。