[论文解读] Task-Driven Common Representation Learning via Bridge Neural Network

Yao Xu, Xueshuang Xiang+1 more|arXiv (Cornell University)|Jun 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用 4

一句话总结

本文提出桥接神经网络（BNN），一种任务驱动的深度学习框架，通过使用人工负样本进行训练，学习两个数据源之间的共享表征。该方法渐近地最大化总相关性，并在配对匹配、典型相关分析（CCA）、迁移学习和视图重建任务中达到最先进性能。

ABSTRACT

This paper introduces a novel deep learning based method, named bridge neural network (BNN) to dig the potential relationship between two given data sources task by task. The proposed approach employs two convolutional neural networks that project the two data sources into a feature space to learn the desired common representation required by the specific task. The training objective with artificial negative samples is introduced with the ability of mini-batch training and it's asymptotically equivalent to maximizing the total correlation of the two data sources, which is verified by the theoretical analysis. The experiments on the tasks, including pair matching, canonical correlation analysis, transfer learning, and reconstruction demonstrate the state-of-the-art performance of BNN, which may provide new insights into the aspect of common representation learning.

研究动机与目标

• 为解决在复杂度水平各异的不同任务中，学习两个数据源之间特定任务的共享表征的挑战。
• 开发一种可扩展的深度学习框架，通过定制表示学习目标，适应不同任务（如配对匹配、CCA、迁移学习和视图重建）。
• 提出一种新颖的训练目标，利用人工负样本，理论上渐近等价于最大化两个数据源之间的总相关性。
• 通过轻量级卷积网络和转置卷积网络实现端到端梯度下降训练，适用于高维数据。

提出的方法

• BNN 使用共享权重或独立的卷积神经网络，将两个数据源映射到共享特征空间。
• 采用二分类目标：最小化正样本对表示之间的欧氏距离，同时最大化人工负样本对之间的距离。
• 理论证明该训练目标渐近等价于最大化两个数据源之间的总相关性。
• 在视图重建任务中，在共享表征层后添加两个转置卷积网络，用于重建缺失的视图。
• 总损失包含 BNN 损失、自重建损失和交叉重建损失，实现编码器与解码器参数的联合优化。
• 该框架支持小批量训练，并通过标准梯度下降进行优化，可扩展至大规模高维数据集。

实验结果

研究问题

• RQ1 是否可以设计一个统一的深度学习框架，学习适应不同任务复杂度水平的特定任务共享表征？
• RQ2 在训练中使用人工负样本是否能导致一个渐近等价于最大化两个数据源之间总相关性的表示学习目标？
• RQ3 BNN 在配对匹配、典型相关分析（CCA）、迁移学习和视图重建任务中与现有方法相比表现如何？
• RQ4 BNN 框架是否可通过引入转置卷积网络作为解码器，扩展以支持视图重建？

主要发现

• BNN 在配对匹配任务中达到最先进性能，其准确率和鲁棒性优于现有方法。
• 所提出的使用人工负样本的训练目标在理论上被证明渐近等价于最大化两个数据源之间的总相关性。
• 在典型相关分析任务中，BNN 学习到线性相关的表征，性能与传统 CCA 和 DCCA 相当或更优。
• 在迁移学习中，BNN 学习到具有判别性的特征，显著提升了基准数据集上的下游分类准确率。
• 在视图重建中，BNN 搭配转置卷积解码器生成了视觉清晰且准确的重建结果，定性表现优于 CorrNet。
• 重建损失（自重建与交叉重建）被有效最小化，定量结果表明其重建误差低于基线方法。