[论文解读] Sparse coding for multitask and transfer learning

Andreas Maurer, Massimiliano Pontil+1 more|arXiv (Cornell University)|Sep 4, 2012

Sparse and Compressive Sensing Techniques参考文献 24被引用 58

一句话总结

本文提出了一种用于多任务学习和迁移学习的稀疏编码框架，其中特定任务的预测器被表示为高维或无限维希尔伯特空间中字典原子的稀疏线性组合。通过利用丰富的多任务数据，该方法学习到一个结构化字典，从而实现泛化界，并在合成数据集和真实世界数据集上优于单任务学习和密集表示基线方法。

ABSTRACT

We investigate the use of sparse coding and dictionary learning in the context of multitask and transfer learning. The central assumption of our learning method is that the tasks parameters are well approximated by sparse linear combinations of the atoms of a dictionary on a high or infinite dimensional space. This assumption, together with the large quantity of available data in the multitask and transfer learning settings, allows a principled choice of the dictionary. We provide bounds on the generalization error of this approach, for both settings. Numerical experiments on one synthetic and two real datasets show the advantage of our method over single task learning, a previous method based on orthogonal and dense representation of the tasks and a related method learning task grouping.

研究动机与目标

• 开发一种统一的多任务和迁移学习框架，使用具有结构化字典的稀疏编码。
• 利用丰富的多任务数据，学习一个字典，以实现任务预测器的稀疏表示。
• 为多任务学习和迁移学习设置提供理论泛化界。
• 通过实证结果证明，稀疏编码在性能上优于单任务学习和密集表示基线方法。

提出的方法

• 该方法将每个任务的预测器建模为来自字典 $ D \in \mathcal{D}_K $ 的原子的稀疏线性组合，其中 $ \|De_k\| \leq 1 $，并通过在代码向量 $ \gamma \in \mathcal{C}_\alpha $ 上施加 $ \ell_1 $-范数约束来强制实现稀疏性。
• 优化目标是最小化 $ T $ 个任务的平均经验风险，每个任务的损失通过稀疏代码和字典计算得出。
• 该框架运行于希尔伯特空间中，通过再生核希尔伯特空间（RKHS）支持非线性预测器。
• 利用雷米奇复杂度和对称化技术推导出泛化界，界值取决于字典大小 $ K $、稀疏度 $ \alpha $ 和数据范数。
• 理论分析包括使用集中不等式和经验过程理论，在多任务学习和迁移学习设置中对过剩风险的界。
• 字典从多个任务中学习，该方法适用于归纳迁移（学习如何学习）和标准多任务学习。

实验结果

研究问题

• RQ1 在多任务学习中，使用学习得到的字典进行稀疏编码是否能比单任务学习带来更好的泛化性能？
• RQ2 在高维希尔伯特空间中使用稀疏表示是否能在迁移学习中带来更好的性能？
• RQ3 理论泛化界如何随任务数量、字典大小和稀疏度水平变化？
• RQ4 所提出的方法是否能优于基于密集或正交表示的任务表示的现有方法？
• RQ5 从多任务数据中学习字典对新未见任务的性能有何影响？

主要发现

• 由于任务之间共享稀疏字典，该方法的泛化误差低于单任务学习。
• 理论界表明，过剩风险以 $ \mathcal{O}(\alpha K \sqrt{S_1(\mathbf{X})/T}) $ 的速率衰减，表明任务越多、表示越稀疏，性能越好。
• 在两个真实数据集和一个合成数据集上的数值实验表明，该方法优于先前使用正交和密集表示的任务方法。
• 在迁移学习设置中，所学习的字典能很好地泛化到同一环境中的新任务，理论界和实证结果均支持此结论。
• 使用 $ \ell_1 $-正则化的稀疏编码能够有效实现特征共享，并在多任务和迁移学习中提高样本效率。
• 实证结果证实，即使底层预测器仅近似稀疏，该方法依然稳健且有效，验证了核心稀疏性假设。