[论文解读] Patterns for Learning with Side Information

Rico Jonschkowski, Sebastian Höfer+1 more|arXiv (Cornell University)|Nov 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 46被引用 16

一句话总结

本文提出了一种统一的边信息学习框架，识别出四种不同的模式——直接模式、多任务模式、多视角模式和表征学习模式——系统地将不属于输入或输出空间的辅助数据整合进来，以提升泛化性能。其关键贡献在于证明了性能在很大程度上取决于将边信息类型与合适的模式相匹配，通过系统的实验验证了当匹配正确时可获得显著的性能提升。

ABSTRACT

Supervised, semi-supervised, and unsupervised learning estimate a function given input/output samples. Generalization of the learned function to unseen data can be improved by incorporating side information into learning. Side information are data that are neither from the input space nor from the output space of the function, but include useful information for learning it. In this paper we show that learning with side information subsumes a variety of related approaches, e.g. multi-task learning, multi-view learning and learning using privileged information. Our main contributions are (i) a new perspective that connects these previously isolated approaches, (ii) insights about how these methods incorporate different types of prior knowledge, and hence implement different patterns, (iii) facilitating the application of these methods in novel tasks, as well as (iv) a systematic experimental evaluation of these patterns in two supervised learning tasks.

研究动机与目标

• 将多任务学习、多视角学习以及带特权信息的学习等不同机器学习方法统一到边信息学习的共同范式之下。
• 识别并形式化边信息用于提升模型泛化能力的不同模式。
• 提供一种系统化的方法，根据可用边信息的性质和学习任务选择最有效的模式。
• 通过实证验证，模式的有效性取决于边信息结构与所假设先验之间的匹配程度。
• 通过公开实现和全面的文献综述，促进实际应用。

提出的方法

• 提出边信息学习的形式化定义，其中边信息 𝒛 是不属于输入 𝒙 或输出 𝒚 空间但与函数 f(𝒙) = 𝒚 相关的数据。
• 识别出四种核心模式：(1) 直接模式，(2) 多任务模式，(3) 多视角模式，以及 (4) 表征学习模式，每种模式对边信息与目标函数关系的假设各不相同。
• 利用这些模式系统比较和分析不同类型边信息（如连续轨迹与离散化轨迹）对学习性能的影响。
• 采用监督学习任务——手写字符识别与轨迹预测——并使用连续和离散化的边信息来评估不同模式的有效性。
• 应用不同的训练流程（预训练/微调、解耦、同时训练）以评估不同优化策略下的鲁棒性与泛化能力。
• 在 https://github.com/tu-rbo/concarne 公开代码，以支持可复现性及在新任务中的应用。

实验结果

研究问题

• RQ1 如何将隐式使用边信息的多样化机器学习方法统一到一个统一的概念框架下？
• RQ2 边信息可以以哪些不同的方式被整合到学习过程中，它们分别编码了何种先验假设？
• RQ3 给定模式的有效性是否取决于边信息结构与所假设函数关系之间的匹配程度？
• RQ4 所提出的框架能否指导为特定学习任务和边信息类型选择最合适的模式？
• RQ5 在真实世界的监督学习任务中，边信息学习在多大程度上能提升泛化性能？

主要发现

• 在手写字符识别任务中，当对离散化边信息使用多任务模式时，显著减少了对标签数据的需求，优于其他模式。
• 当使用连续边信息（如笔迹轨迹）时，直接模式带来适度改进，而多任务和多视角模式的增益有限，表明模式与任务的匹配至关重要。
• 对离散化边信息应用多任务模式时，其性能对训练流程的变化具有鲁棒性，表明该模式学习到了与主目标无关的稳定中间表征。
• 当边信息类型与所选模式编码的归纳偏置相匹配时，性能提升最为显著，证实了模式有效性依赖于先验匹配的假设。
• 表征学习模式能有效利用边信息学习到解耦且有意义的表征，尤其当边信息捕捉到结构关系时效果更佳。
• 该框架使得边信息在新任务中的系统化应用成为可能，实证验证表明，正确选择模式可显著提升样本效率与泛化能力。