[论文解读] On the Transferability of Representations in Neural Networks Between Datasets and Tasks
本文研究了深度神经网络表示在不同数据集和任务之间的逐层可迁移性，涵盖图像识别（CIFAR-10、CIFAR-100、SVHN）和语音任务（TIMIT 上的 ASR、IEMOCAP 上的 SER）。通过在多种 ConvNet 架构上逐步进行迁移学习，发现可迁移性是非对称的，主要由数据集/任务相似性驱动，而非网络架构，且浅层的可迁移性高于深层。
Deep networks, composed of multiple layers of hierarchical distributed representations, tend to learn low-level features in initial layers and transition to high-level features towards final layers. Paradigms such as transfer learning, multi-task learning, and continual learning leverage this notion of generic hierarchical distributed representations to share knowledge across datasets and tasks. Herein, we study the layer-wise transferability of representations in deep networks across a few datasets and tasks and note some interesting empirical observations.
研究动机与目标
- 分析深度网络中学习到的表示在不同数据集和任务之间如何迁移。
- 研究可迁移性在不同数据集和任务之间是否对称或非对称。
- 评估数据集/任务相似性与神经网络架构对可迁移性的影响。
- 探索将逐层可迁移性作为衡量任务相关性的代理指标的可行性。
- 使用多种架构评估计算机视觉和语音处理任务中的可迁移性。
提出的方法
- 采用渐进式迁移学习，将一个数据集/任务上预训练模型的特征，通过逐步冻结初始层的数量，迁移到第二个数据集/任务上。
- 对于每对数据集/任务，保持前 $ l_c \in \{0,\dots,L_H\} $ 层不变，其余层进行微调。
- 使用两种 ConvNet 架构——模型 A（标准）和模型 B（VGGNet 变体）——以评估结果在架构上的鲁棒性。
- 实验在图像数据集（CIFAR-10、CIFAR-100、SVHN）和语音数据集（TIMIT 用于 ASR，IEMOCAP 用于 SER）上进行，采用标准化的预处理和训练协议。
- 通过测量分类准确率随冻结层数的变化来评估性能，从而反映每一层的可迁移性。
- 通过交叉验证和标准化的数据划分（如 IEMOCAP 的 8 折留一说话人验证）确保评估的稳健性。
实验结果
研究问题
- RQ1两个数据集或任务之间的表示可迁移性是否对称，还是某一方向更具优势？
- RQ2数据集或任务的性质与神经网络架构相比，对逐层可迁移性的影响如何？
- RQ3逐层可迁移性能否作为衡量任务相关性的可靠代理？
- RQ4当应用于相同任务对时，可迁移性在不同神经网络架构之间如何变化？
- RQ5在深度网络中，视觉和语音任务的可迁移性在各层中的分布模式是什么？
主要发现
- 数据集之间的可迁移性是非对称的：CIFAR-10 和 CIFAR-100 的表示向 SVHN 的迁移性高于反向迁移，这是由于 CIFAR 类别的通用性高于 SVHN 的数字特异性。
- 数据集或任务的性质比神经网络架构对可迁移性的影响更强，因为模型 A 和模型 B 均表现出相似的可迁移性趋势。
- 深层网络的浅层表现出显著更高的可迁移性，且在所有测试数据集和架构中保持一致。
- 可迁移性随深度逐渐降低，表明特征从通用到任务特定的层级式演化过程。
- 逐层可迁移性模式在不同任务（图像识别与语音处理）中保持一致，表明深层表示具有可泛化的特性。
- 可迁移性代理能有效捕捉任务相关性，相似任务之间（如 CIFAR-10 和 CIFAR-100）的可迁移性高于不相似任务之间（如 SVHN 和 CIFAR-10）。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。