[论文解读] The Benefit of Multitask Representation Learning

Andreas Maurer, Massimiliano Pontil+1 more|arXiv (Cornell University)|May 23, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用 110

一句话总结

本文对多任务表示学习（MTRL）进行了理论分析，证明其在多任务学习（MTL）和元学习（LTL）设置下相较于独立任务学习具有统计优势。通过使用经验过程理论，作者推导出与维度无关的界，表明当任务数量和样本量相对于数据内在维度足够大时，MTRL具有优势，尤其在高维输入和数据有限的半空间学习中。

ABSTRACT

We discuss a general method to learn data representations from multiple tasks. We provide a justification for this method in both settings of multitask learning and learning-to-learn. The method is illustrated in detail in the special case of linear feature learning. Conditions on the theoretical advantage offered by multitask representation learning over independent task learning are established. In particular, focusing on the important example of half-space learning, we derive the regime in which multitask representation learning is beneficial over independent task learning, as a function of the sample size, the number of tasks and the intrinsic data dimensionality. Other potential applications of our results include multitask feature learning in reproducing kernel Hilbert spaces and multilayer, deep networks.

研究动机与目标

• 为多任务学习（MTL）和元学习（LTL）设置下的多任务表示学习（MTRL）提供严格的理论依据。
• 确立MTRL相较于独立任务学习具有统计优势的条件，特别是在高维输入空间且数据有限的情况下。
• 利用经验过程理论推导MTRL的一般性、与维度无关的误差界，避免对数因子和覆盖数技术。
• 将分析专门应用于线性特征学习和半空间学习，识别出MTRL具有优势的场景。
• 将框架扩展至非线性设置，包括再生核希尔伯特空间（RKHS）、深度网络和稀疏编码。

提出的方法

• 该方法采用一种通用的MTRL框架，其中通过共享假设类H在多个任务间联合学习共享表示。
• 利用经验过程理论推导出与输入维度无关的数据依赖误差界，优于以往基于覆盖数的界。
• 将泛化误差分解为四个部分：经验偏差、优化误差、泛化差距和近似误差。
• 针对线性特征学习，推导出即使在无限维输入空间中也有效的紧致界，利用特征映射和任务特定预测器的结构。
• 通过考虑再生核希尔伯特空间（RKHS）中的表示和多层架构，将框架扩展至非线性设置。
• 通过与独立学习的一般下界比较，验证了理论界的有效性，表明当存在共享结构时，MTRL具有明显优势。

实验结果

研究问题

• RQ1 在何种条件下，多任务表示学习相较于独立学习每个任务具有统计优势？
• RQ2 在半空间学习中，MTRL的优势如何依赖于任务数量、样本量和数据内在维度？
• RQ3 能否为MTRL推导出避免对数因子且适用于无限维输入空间的与维度无关的误差界？
• RQ4 在高维、小样本问题中，MTRL在何种场景下特别有效？
• RQ5 MTRL的理论界与独立任务学习的下界相比如何？

主要发现

• 当任务数量和训练样本量相对于数据内在维度足够大时，MTRL相较于独立学习具有统计优势，尤其在高维输入和数据有限的情况下。
• 通过经验过程理论，该方法实现了与维度无关的误差界，避免了覆盖数分析中常见的对数因子。
• 对于半空间学习，理论分析明确识别出MTRL具有优势的清晰场景，其量化取决于样本量、任务数量和数据维度之间的相互作用。
• 推导出的界适用于无限维输入空间，使其适用于核方法和具有非线性特征映射的深度网络。
• 该框架支持非线性表示，包括再生核希尔伯特空间（RKHS）中的表示，适用于分析稀疏编码和深度架构。
• 分析表明，泛化界中的近似误差项非正，证实共享表示只能改善或维持性能。